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Samenvatting 


In het mbo is bij nog te veel opleidingen de examenkwaliteit niet voldoende op orde, waardoor de 
civiele waarde van diploma's onder druk komt te staan. Onder andere de kwaliteit van 
examenproducten is al langer een punt van aandacht. In de brief 'Ruim baan voor vakmanschap: een 
toekomstgericht mbo' heeft de Minister van OCW aangegeven: "Ik ga scholen verplichten om voor 
alle opleidingen gebruik te maken van bij gecertificeerde examenleveranciers ingekochte examens of 
om hun gezamenlijk of individueel ontwikkelde examens extern te laten valideren." 

Het Ministerie van OCW heeft de regieorganisatie herziening kwalificatiestructuur eind 2015 het 
verzoek gedaan om een gedragen advies op te stellen over de externe validering met betrekking tot 
zelf of samen ontwikkelde exameninstrumenten door onderwijsinstellingen. 

Collectieve afspraken 

Het onderwijsveld heeft met de Examenagenda mbo 2015-2020 de handschoen opgepakt. In de 
Examenagenda zijn stevige ambities geformuleerd voor het verbeteren van de examenkwaliteit. Eén 
van deze ambities betreft het verbeteren van de kwaliteit van de examenproducten. De 
onderwijsinstellingen maken collectieve afspraken voor het realiseren van deze ambitie. Deze 
afspraken zijn concreet zodat de instellingen weten wat van hen verwacht wordt en ze elkaar er ook 
aan kunnen houden. 

Analyse samenhang 

Vanaf 1 augustus 2016 wordt de herziene kwalificatiestructuur geïmplementeerd in het mbo. De 
inhoud van de kwalificatiedossiers is in het kader van de herziening vernieuwd en in sommige 
gevallen generieker geworden. Het gevolg van deze situatie is dat een aantal van de herziene 
kwalificatiedossiers relatief veel ruimte voor interpretatie geeft in de doorvertaling naar onderwijs en 
examinering. Deze situatie roept de vraag op hoe gezorgd kan worden voor voldoende houvast voor 
het veld om te komen tot het borgen van de gelijkwaardigheid van de inhoud van het onderwijs en 
de examinering. Voor het verkrijgen van de nodige houvast is een initiatief gestart voor het in kaart 
brengen en analyseren van de samenhang tussen kwalificatiedossiers, additionele informatie en 
exameninstrumenten ten behoeve van de zorgvuldige implementatie van de herziene dossiers 
enerzijds en de gewenste kwaliteitsverbetering van de examinering anderzijds. Hiermee worden 
twee belangrijke en actuele thema's in het mbo-onderwijs verbonden; de herziene 
kwalificatiestructuur en de ambitie om kwaliteitsverbetering van de examinering te bewerkstelligen. 

Drie routes 

Bij het uitwerken van het advies is geconstateerd dat: 

• de bereidheid van de sector om te werken aan de verbetering van de examenkwaliteit is 
geconcretiseerd in een eerste set van collectieve afspraken met betrekking tot de kwaliteit 
van examenproducten 

• de Analyse van de samenhang tussen kwalificatiedossiers, additionele informatie en 
exameninstrumenten per kwalificatie waardevolle inzichten oplevert voor de examinering 

• de rapportages van de Inspectie van het Onderwijs laten zien dat er sprake is van een 
positieve ontwikkeling van de kwaliteit van de examenproducten. 
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Deze constateringen hebben geleid tot de conclusie dat voor een evenwichtige oplossing voor de 
verbetering van de kwaliteit van de examenproducten er naast inkoop bij een gecertificeerde 
instantie of extern valideren een derde mogelijkheid om te komen tot een valide examenproduct 
gewenst is. Deze derde mogelijkheid is gebaseerd op de bereidheid van de sector collectieve 
afspraken te maken. In het advies zijn er drie oplossingen, routes, uitgewerkt die leiden tot valide 
examenproducten. 


Om te komen tot valide examenproducten, kan de onderwijsinstelling per kwalificatie kiezen welke 
route of routes ze bewandelt. Dat kunnen instellingen doen volgens de onderstaande routekaart. 


IPfl Route 1 


Inkopen bij gecertificeerde 


instantie 



Alleen binnen collectieve afspraken: 



Route 2 is niet open voor 
risicovolle kwalificaties 



Valide 

examenproduct 


Valide 

examenproduct 


■ 

Route 3 

w i 


Examenproduct aanbieden 


1 

voor externe validering 

WÉ 



De instelling maakt haar keuzes voor de routes per kwalificatie kenbaar in een valideringsplan. De 
complete set van examenproducten voor een kwalificatie vormt het exameninstrumentarium. De 
examencommissie stelt de totale set aan examenproducten vast en beoordeelt of de set conform 
norm is. Het resultaat hiervan is een 'valide exameninstrumentarium'. 


Dekking 

■ 
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Norm 

Om ervoor te zorgen dat via elke route men komt tot 'valide examenproducten' is het belangrijk dat 
voor elke route dezelfde kwaliteitscriteria gelden. Dit kan met het inzetten van een eenduidige norm. 
In het advies is de norm uitgewerkt waarbij eisen zijn geformuleerd voor het examenproduct, het 
proces op basis waarvan het product tot stand komt en eisen aan de organisatie die het product 
realiseert. 

Een aantal voorbeelden van eisen uit de norm zijn: de dekking van de kwalificatie, cesuur, 
beoordelingswijze examenproduct (eisen examenproduct), het aanleveren van informatie over of en 
hoe het bedrijfsleven betrokken is bij de totstandkoming van het product (proceseisen 
examenproduct), de gevolgde methodiek voor het vaststellen van de examenvorm, het aantal 
opdrachten en de wegingsfactor (proceseisen organisatie) en een schriftelijke vastlegging van het 
primaire werkproces van een instantie (organisatie-eisen). 

Er wordt een helder onderscheid gemaakt tussen de routes die leiden tot een valide examenproduct 
en het toezicht van Inspectie van het Onderwijs. De formele taak van de inspectie wijzigt niet als 
gevolg van de introductie van de routes. Wat betreft het uitoefenen van het toezicht op de kwaliteit 
van de examenproducten is en blijft Examenstandaard 1 de norm. De eisen van Examenstandaard 1 
zijn congruent met de producteisen die onderdeel zijn van de norm die leidt tot een valide 
exameninstrumentarium. Geadviseerd wordt het beheer van de norm onder te brengen bij een 
onafhankelijke stichting. Een dergelijke stichting moet op initiatief van de mbo-sector tot stand 
komen. 

Overgangsperiode 

Er wordt geadviseerd om vanaf 1 augustus 2016 de routes 1 en 2 open te stellen. In combinatie met 
de in het advies uitgewerkte norm wordt hiermee een belangrijke stap gezet in het verder 
verbeteren van de kwaliteit van de examenproducten. 

Echter, voor het bereiken van de structurele situatie is meer tijd nodig. Op 1 augustus 2016 zijn er 
namelijk nog geen conform de norm gecertificeerde instanties en kunnen zelf ontwikkelde producten 
niet extern gevalideerd worden bij een daarvoor aangewezen autoriteit. Tevens is er op 1 augustus 
2016 nog geen organisatie die de norm kan beheren en kan zorgdragen voor het selecteren van 
autoriteiten die instanties kunnen certificeren of valideren. 

Om op verantwoorde wijze van advies naar praktijk te komen wordt voor een overgangsperiode 
gepleit. Tijdens deze overgangsperiode kan onder leiding van een kwartiermaker worden gewerkt 
aan de in het advies geïdentificeerde aandachtspunten. De overgangsperiode geeft de mogelijkheid 
om vanaf 1 augustus 2016 met de stakeholders samen te werken aan het vertalen van het advies 
naar de praktijk. 
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datum X 
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start collectieve 
afspraken 

norm Tl 


routekaart open 
voor gebruik 


kwartiermaker 




collectieve afspraken 
aangevuld 


vastgelegde norm 


routekaart volledig 
in gebruik 


stichting 


Draagvlak voor het advies 

Bij de totstandkoming van het advies heeft intensief overleg plaatsgevonden met 
vertegenwoordigers van het onderwijsveld, het bedrijfsleven, Ministerie van OCW/directie MBO, 
Inspectie van het Onderwijs en examenleveranciers. Alle gesprekspartners hebben aangegeven zich 
te kunnen vinden in de hoofdlijn van het advies. 
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1. Aanleiding & opdracht 

Het Ministerie van OCW heeft de regieorganisatie eind 2015 het verzoek gedaan om een gedragen 
advies op te stellen over de externe validering met betrekking tot zelf of samen ontwikkelde 
exameninstrumenten door onderwijsinstellingen 1 . Daarnaast heeft OCW de regieorganisatie 
gevraagd om in 2016 een vervolg te geven aan de eerder uitgevoerde verkenning naar de samenhang 
tussen examinering en de herziene kwalificatiedossiers. 

In dit hoofdstuk zijn de aanleiding voor de opdracht, de opdrachtomschrijving, de gevolgde werkwijze 
en de leeswijzer uitgewerkt. 

1.1 Aanleiding 

In de brief 'Ruim baan voor vakmanschap: een toekomstgericht mbo' die de Minister van OCW op 2 
juni 2014 naar de Tweede Kamer heeft gezonden, heeft zij aangegeven: "Ik ga scholen verplichten 
om voor alle opleidingen gebruik te maken van bij gecertificeerde examenleveranciers ingekochte 
examens of om hun gezamenlijk of individueel ontwikkelde examens extern te laten valideren. Deze 
wettelijke verplichting wil ik per 1 augustus 2016 laten ingaan, gelijktijdig met de beoogde datum van 
implementatie van de herziene kwalificatiestructuur." Tevens heeft de Minister aangegeven dat 
bovenstaande maatregelen "in overleg met de sector, verder worden uitgewerkt. Hierbij wordt in elk 
geval ook gekeken naar de manier waarop de externe validering door de instellingen kan worden 
ingevuld." 

De aanleiding voor deze aanvullende maatregelen is dat bij een aantal mbo-opleidingen de 
examenkwaliteit niet (voldoende) op orde is, waardoor de civiele waarde van diploma's onder druk 
komt te staan. Het doel van de maatregelen is de kwaliteit van examenproducten vooraf te 
waarborgen en daarmee de examenkwaliteit te verbeteren. 

Inmiddels is door de inspanningen van onderwijsinstellingen en examenleveranciers de kwaliteit van 
examenproducten flink verbeterd. In 2013 was bij 73% van de bekostigde opleidingen sprake van 
voldoende kwaliteit van de examenproducten (het instrumentarium) en in 2014 was dat 92%: een 
vooruitgang van 19 procentpunt. In 2015 is de kwaliteit gelijk gebleven aan 2014. Voor het niet- 
bekostigd onderwijs geldt dat in de periode 2012-2014 bij 76% van de bezochte opleidingen de 
kwaliteit van de examenproducten voldoende was. In 2015 is dit bij 72% het geval (Inspectie van het 
Onderwijs, 2015a en 2016a). 

Van de door instellingen zelf ontwikkelde examenproducten is de score in 2013 en 2014 
respectievelijk 65% en 82%: een vooruitgang van 17 procentpunt. In 2015 is een kleine daling te zien 
naar 79%. Ook blijkt dat de kwaliteitsborging van onderwijsinstellingen flink is verbeterd en dat bij 
opleidingen waar de kwaliteitsborging op orde is de kwaliteit van de examenproducten vaker op orde 
is in vergelijking met opleidingen waar de kwaliteitsborging niet op orde is. 

Tevens blijkt dat onderwijsinstellingen bij opleidingen vaker gebruik maken van ingekochte 
examenproducten, hoewel dat meer lijkt te gaan over gedeeltelijke dan volledige inkoop. De 
kwaliteit van zelf ontwikkelde examens blijft achter ten opzichte van (gedeeltelijke) inkoop. 


1 In het advies zijn een aantal begrippen vetgedrukt. Deze begrippen worden nader toegelicht in de bijlage 1 van dit advies: 
de begrippenlijst. 
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In 2013 was de kwaliteit van zelf ontwikkelde examenproducten bij 65% van de opleidingen op orde, 
met een flinke stijging in 2014 naar 82%. De examenproducten zijn bij inkoop en gedeeltelijke inkoop 
bij respectievelijk 98% en 100% van de onderzochte opleidingen op orde (Inspectie van het 
Onderwijs, 2015a en 2016a). 

Behalve betere resultaten van de examenkwaliteit is ook sprake van meer inspanningen, meer 
handreikingen en maatregelen die onderwijsinstellingen stimuleren en ondersteunen bij de verdere 
verbetering van de examenkwaliteit, waaronder de kwaliteit van examenproducten. Dat betreft 
onder andere de Examenagenda mbo 2015-2020, waarin in een uitgebreide set van afspraken is 
vastgelegd wat onderwijsinstellingen en andere actoren gaan doen om examenkwaliteit, waaronder 
de kwaliteit van examenproducten, zo snel mogelijk op orde te brengen bij alle opleidingen. 

Met de introductie van de herziene kwalificatiestructuur in het mbo kwam het inzicht dat een aantal 
kwalificatiedossiers een generieke beschrijving van de inhoud (c.q. kwalificatie-eisen) kent. Dit heeft 
geleid tot een gezamenlijke verkenning door de regieorganisatie herziening kwalificatiestructuur mbo 
naar de samenhang van de herziene kwalificatiestructuur met de examinering, waarbij onder andere 
'witte vlekken' zijn geïnventariseerd. In hoofdstuk 2 van dit advies is aanpak en resultaat van de 
samenhang nader toegelicht. De resultaten van een eerste verkenning hebben geleid tot een 
vervolgaanpak van de regieorganisatie, waarbij in 2015 in samenwerking met SBB, de MBO Raad en 
de Inspectie van het Onderwijs is gewerkt een inventarisatie voor alle herziene kwalificaties. Dit heeft 
geresulteerd in de zogenaamde eerste 'Analyse samenhang.' Deze eerste inventarisatie heeft 
inzichtelijk gemaakt welke dossiers meer aandacht behoeven om tot goede examenkwaliteit te 
komen. 

Ook vinden er diverse examineringsprojecten plaats waar onderwijsinstellingen, bedrijftakgroepen 
(btg's), de MBO Raad en het Servicepunt examinering mbo bij betrokken zijn. Er is sprake van meer 
samenwerking en samenhang bij de realisatie van de diverse initiatieven tot verbetering van de 
examenkwaliteit (zoals onder meer blijkt uit de gezamenlijke Examenagenda mbo 2015-2020) (MBO 
Raad, Ministerie van OCW & NRTO, 2015). De mbo-instellingen zullen elkaar ook meer aanspreken op 
hun bijdragen aan de verbetering van de examenkwaliteit. 

Al deze nieuwe en samenhangende inspanningen leveren meer waarborgen en zullen naar 
verwachting leiden tot verdere verbetering van de examenkwaliteit in de komende jaren. Dat geldt 
ook voor inspanningen uit de afgelopen jaren (bijvoorbeeld op het punt van professionalisering van 
examenfunctionarissen) waarvan de doorwerking in de resultaten in volgende jaren zal blijken. 

De uitwerking van de nieuwe maatregel betreffende de externe validering dient plaats te vinden 
tegen de achtergrond van bovengenoemde ontwikkelingen. 

Gelet op de context van reeds geconstateerde verbetering van resultaten en van de bovengenoemde 
extra inspanningen is er - met enkele nog te maken aanvullende afspraken een situatie denkbaar is 
dat de maatregel van externe validering beperkter kan worden ingezet dan aanvankelijk is voorzien, 
d.w.z. niet meer op alle door onderwijsinstellingen zelf of samen ontwikkelde examenproducten. 
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1.2 Opdracht 

Het Ministerie van OCW heeft de regieorganisatie eind 2015 het verzoek gedaan om een gedragen 
advies op te stellen over de externe validering met betrekking tot zelf of samen ontwikkelde 
exameninstrumenten door onderwijsinstellingen. Daarnaast heeft OCW de regieorganisatie gevraagd 
om in 2016 een vervolg te geven aan de eerder uitgevoerde verkenning naar de samenhang tussen 
examinering en de herziene kwalificatiedossiers. 

Bij de uitwerking van dit advies worden de inspanningen van de sector zelf rondom de 
kwaliteitsverbetering van examenproducten (o.a. collectieve afspraken) betrokken. De 
regieorganisatie stelt daarbij dat de reikwijdte van de collectieve afspraken in relatie staat met de 
reikwijdte van de maatregel rondom externe validering. Bovendien is de aangekondigde maatregel 
van OCW tweeledig: het is externe validering of inkoop bij een gecertificeerde instantie. Dit 
suggereert dat de eisen aan externe validering en certificering congruent met elkaar moeten zijn. 
Daarom wordt in het advies ook de relatie gelegd tussen externe validering en inkoop bij een 
gecertificeerde instantie. 

De opdracht is geëxpliciteerd in een uitwerking van de volgende kaders: 

a. De kwaliteitscriteria/-standaard voor exameninstrumenten (Examenstandaard 1) waarop de 
externe validering betrekking heeft. 

b. De eisen waaraan de methodiek van validering moet voldoen. 

c. De eisen waaraan validerende instanties moeten voldoen. 

d. De eisen waaraan validerende deskundigen moeten voldoen. 

e. De eisen waaraan een valideringsrapport moet voldoen. 

f. De eisen waaraan de procedure voor (eventuele) afwijkingen van de methodiek moet 
voldoen. 

g. De eisen waaraan een valideringsplan van de school moet voldoen. 

h. De samenhang van de voorgesteld bovengenoemde eisen betreffende deze maatregel met te 
stellen eisen betreffen de bovengenoemde maatregel betreffende inkoop van 
exameninstrumenten bij gecertificeerde examenleveranciers. 

En ook advies over: 

i. Wie is verantwoordelijk voor de controle of aan bovenstaande eisen a t/m f is voldaan? 

j. Hoe kan de implementatie verantwoord plaatsvinden? 

k. Moeten onderdelen van bovengenoemde kaders voor beide betreffende maatregelen 
worden geformaliseerd in regelgeving en/of worden vastgelegd in bestuurlijke afspraken? 

Op verzoek van de Minister heeft IVA Onderwijs in 2015 een verkenning uitgevoerd naar de kaders 
die nodig zijn om de maatregel van externe validering vorm en inhoud te geven (Vink & Willemse, 
2015). Er is door de opdrachtgever gevraagd of het advies zoveel mogelijk kan voort bouwen op de 
verkenning van IVA Onderwijs. 

Daarnaast is gevraagd om een gedragen advies uit te brengen, met draagvlak van de stakeholders 
rondom examinering in het mbo en met betrokkenheid van de projectstructuur betreffende de 
uitvoering van de Examenagenda 2015-2020. 
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1.3 Invulling opdracht 

De regieorganisatie heeft de opdracht als volgt opgepakt: 

Bij de uitwerking van het advies heeft de regieorganisatie gebruik gemaakt van de expertise van IVA 
Onderwijs. Twee adviseurs van IVA Onderwijs hebben meegewerkt aan de specifieke invulling van 
externe validering in dit advies en zijn een klankbord geweest voor de regieorganisatie. 

Het advies is van toepassing op de examenproducten voor de herziene kwalificaties. De 
(consequenties van de) doorvertaling van dit advies naar keuzedelen moet nader worden 
onderzocht. Het (mogelijk aangepaste) regime voor valide examenproducten kan pas op een nader 
vast te stellen tijdstip ook van toepassing worden verklaard op de keuzedelen. 

1.3.1 Informatie in beeld 

De regieorganisatie heeft de huidig beschikbare informatie over examenproducten in kaart gebracht, 
zoals: Welke initiatieven vanuit de sector lopen er rondom kwaliteitsverbetering van 
examenproducten, wat zegt de wet- en regelgeving, welke kaders gebruikt de Inspectie van het 
Onderwijs, zijn er al gecertificeerde examenleveranciers of vormen van validering en volgens welke 
kwaliteitscriteria, welke stappen zijn er in het verleden gezet, is er onderzoeks- en 
referentiemateriaal beschikbaar? Daarbij is ook gekeken naar op handen zijnde ontwikkelingen zoals 
de collectieve afspraken, het nieuwe onderzoekskader van de Inspectie van het Onderwijs en een 
vereniging van examenleveranciers in oprichting. Er zijn diverse gesprekken met betrokken partijen 
uit de sector gevoerd om informatie op te kunnen halen, te kunnen duiden, ervaringen en 
opvattingen over externe validering uit te wisselen en draagvlak te creëren. 

1.3.2 Samenhang 

Begin 2016 is een tweede, aangescherpte uitvraag voor relevante informatie rondom samenhang 
gedaan. Met de aangescherpte uitvraag en een tweede analyse ontstaat een concreter inzicht over 
welke kwalificaties extra aandacht behoeven bij de doorvertaling van kwalificatie naar examen. Deze 
inzichten zijn van belang voor de uitwerking van de aangekondigde maatregel rondom inkoop bij 
gecertificeerde instanties en externe validering. De uitkomsten van de tweede Analyse samenhang 
worden ingezet voor de uitwerking van de denklijn dat collectieve afspraken (uitwerking de 
Examenagenda mbo 2015-2020) kunnen leiden tot een derde mogelijkheid om tot zogenoemde 
'valide examenproducten' te komen. De resultaten uit samenhang maken onderdeel uit van dit 
advies (zie bijlage 3). 

1.3.3 Certificering 

De uitkomsten uit de inventarisatie en Analyse samenhang zijn door de regieorganisatie gedeeld en 
gezamenlijk geduid in een werksessie met vertegenwoordigers van OCW, SBB, NRTO en de MBO 
Raad (werkgroep samenhang). In deze werksessie werd ook duidelijk dat er verschillende 
denkbeelden zijn van wat er onder een 'gecertificeerde' instantie wordt verstaan. Over de invulling 
van certificering is vervolgoverleg geweest tussen OCW en de regieorganisatie. De regieorganisatie 
heeft op basis daarvan met OCW afgesproken dat de eisen die gesteld worden aan certificering - op 
hoofdlijnen - onderdeel worden van het advies. Dit sluit aan bij de al gedane constatering dat er een 
relatie bestaat tussen certificering en externe validering. 
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1.3.4 Nadere uitwerking advies en draagvlak 

Op basis van alle opgehaalde informatie heeft de regieorganisatie een eerste beeld ontwikkeld over 
externe validering en hoe certificering, validering en de uitkomsten van de collectieve afspraken in 
wisselwerking met elkaar een systematiek kunnen vormen om te komen tot valide 
examenproducten. Dit beeld is in gesprekken getoetst bij diverse betrokkenen (MBO Raad, NRTO, 
Inspectie van het Onderwijs, Vereniging van examenleveranciers i.o. en keurmerk Excenter, VNO- 
NCW en OCW). De werkgroep samenhang is gedurende de ontwikkeling van het advies betrokken 
gebleven vanwege de positie van samenhang binnen het uit te brengen advies. 

Verder heeft de regisseur gesproken met de klankbordgroep van de Examenagenda en contact gehad 
met de stuurgroep Examenagenda. De beoogde aanpak en de hoofdlijn van het advies zijn vervolgens 
besproken op de regiobijeenkomsten en in de ledenvergadering van de MBO Raad en in de 
ledenvergadering en schriftelijke ledenraadpleging van de NRTO. Er zijn bijeenkomsten geweest in 
het kader van samenhang met de bedrijfstakgroepen van de MBO Raad. Ook is er een bijeenkomst 
geweest met leden van het Netwerk Examinering en is er gesproken met een initiatief uit het 
onderwijsveld rondom externe validering (Nubiko). Door constant in gesprek te zijn met betrokkenen 
uit en rondom de mbo-sector is een gedragen advies aan de Minister tot stand gekomen. 

Naast de ontwikkeling van de systematiek voor valide examenproducten heeft de regieorganisatie 
samen met IVA Onderwijs concrete invulling gegeven aan externe validering en de uitvoering ervan. 
Hierbij is gewerkt aan kwaliteitscriteria in een norm en is gekeken naar eisen die gesteld moeten 
worden aan certificerende en validerende autoriteiten en deskundigen. De regieorganisatie heeft 
ook een voorstel ontwikkeld voor een organisatievorm waar de uitvoering van het komen tot valide 
examenproducten kan worden belegd, beheerd en geactualiseerd. Tot slot is er nagedacht over een 
verantwoorde implementatie gekoppeld aan tijd. 

1.4 Opbouw rapport & leeswijzer 

Het rapport is opgebouwd aan de hand van hoofdstukken over een aantal kernelementen uit het 
advies. De opdrachtonderdelen a t/m k uit de opdrachtformulering worden beantwoord in de diverse 
hoofdstukken. 

Hoofdstuk 1: Aanleiding & opdracht 

In dit hoofdstuk staan de aanleiding voor de opdracht, de opdrachtomschrijving, de gevolgde 
werkwijze en deze leeswijzer. 

Hoofdstuk 2: Collectieve afspraken en Analyse samenhang 

In dit hoofdstuk wordt ingegaan op de relatie met inspanningen vanuit de sector om de kwaliteit van 
examenproducten te verhogen - de uitwerking van de Examenagenda mbo 2015-2020 in de 
collectieve afspraken - en analyses die gedaan zijn in het kader van de samenhang tussen de herziene 
kwalificaties en de doorvertaling daarvan in examenproducten. 

Hoofdstuk 3: Een norm voor valide examenproducten 

In dit hoofdstuk wordt een norm voor valide examenproducten uitgewerkt. 
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Hoofdstuk 4: Drie routes naar een valide examenproduct 

In dit hoofdstuk wordt ingegaan op de routes die door een onderwijsinstelling voor een specifieke 
kwalificatie te volgen zijn om tot valide examenproducten te komen. De norm beschreven in 
hoofdstuk 3 is van toepassing op alle drie de routes. 

Hoofdstuk 5: Organisatie & uitvoering 

De norm en de systematiek van de drie routes moeten beheerd worden en daarvoor is er een 
organisatie nodig. In dit hoofdstuk is een verkenning gedaan naar twee organisatiemogelijkheden. 
Daarnaast wordt in het hoofdstuk ingegaan op de uitvoering van externe validering en certificering: 
welke autoriteiten mogen dit doen en aan welke eisen moeten zij daarvoor voldoen? 

Hoofdstuk 6: Van advies naar praktijk: aan de slag met een overgangsperiode 

In dit hoofdstuk wordt uiteengezet wat het betekent in tijd om van advies naar praktijk te komen. 
Hierbij wordt voor een overgangsperiode gepleit. Er wordt ingegaan op de wijze waarop op korte 
termijn al aan de slag gegaan kan worden met de resultaten van het advies. 

Hoofdstuk 7: Aandachtspunten & acties 

In dit hoofdstuk wordt ingegaan op een aantal aandachtspunten en bijbehorende acties die moeten 
worden ondernomen als er aan de slag gegaan wordt met het advies. 

Bijlage 1: Begrippenlijst 

In het rapport worden een aantal begrippen gebruikt, waarvan het belangrijk is dat deze op de juiste 
wijze worden geïnterpreteerd, in het licht van dit advies. Deze begrippen zijn in een begrippenlijst 
(bijlage 1) toegelicht. 

Bijlage 2: Collectieve afspraken 

In hoofdstuk 2 'Collectieve afspraken en Analyse samenhang' wordt ingegaan op de collectieve 
afspraken over examenproducten die de mbo-sector maakt. Als bijlage is de versie van de collectieve 
afspraken t.b.v. de ledenvergadering van de MBO Raad d.d. 19 april 2016 opgenomen. 

Bijlage 3: Analyse en dataset samenhang 2.0 

In deze bijlage wordt inzicht geboden in de Analyse samenhang 2.0, van de dataset van maart 2016. 
De analyse geeft inzicht in de samenhang tussen de herziene kwalificaties in het mbo en 
examinering. De bijlage biedt achtergrondinformatie bij hoofdstuk 2 Collectieve afspraken en Analyse 
samenhang en hoofdstuk 4 Drie routes naar valide examenproducten van dit advies. 
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2. Collectieve afspraken en Analyse samenhang 

In 2015 zijn twee belangrijke initiatieven voor het verbeteren van de examenkwaliteit gestart, te 
weten de totstandkoming van de Examenagenda en het in kaart brengen en verkennen van de 
samenhang tussen kwalificaties, additionele informatie en examenproducten. 

Deze initiatieven zijn waar relevant voor dit advies in dit hoofdstuk nader beschreven. 

2.1 Collectieve afspraken 

Op 1 oktober 2015 is de Examenagenda mbo 2015-2020 ondertekend door de Minister van OCW en 
de voorzitters van de MBO Raad en NRTO. In de Examenagenda zijn stevige ambities geformuleerd 
voor het verbeteren van de examenkwaliteit. Voor het realiseren van deze ambities maken de 
onderwijsinstellingen collectieve afspraken. Deze afspraken zijn concreet zodat de instellingen weten 
wat van hen verwacht wordt en ze elkaar er ook aan kunnen houden. 

De Examenagenda richt zich op drie lijnen (MBO Raad et al., 2015): 

• Exameninstrumenten op orde: gezamenlijk ontwikkelen van exameninstrumenten, het 
maken van kwaliteitsafspraken over de constructieprocessen van deze instrumenten en 
externe validering. 

• Examenprocessen in control: versterking van de examencommissie en verbetering van de 
structurele kwaliteitsborging. Zo ontwikkelt de mbo-sector bijvoorbeeld een auditinstrument 
en maakt de sector afspraken over de wijze waarop onderwijsinstellingen zich jaarlijks 
verantwoorden in het examenverslag. 

• Professionaliteit op orde: alle betrokkenen bij examinering moeten deskundig zijn en blijven. 
Onderwijsinstellingen zetten hier verder op in. Daarnaast kennis en vaardigheden over 
examinering in het mbo laten opnemen in het curriculum van de lerarenopleidingen 

Voorliggend advies heeft een directe relatie met de lijn 'Exameninstrumenten op orde' van de 
Examenagenda. Waar in het advies wordt gesproken over 'collectieve afspraken' betreft het de 
afspraken die in het kader van de lijn 'Exameninstrumenten op orde' zijn gemaakt. 

Voor de lijn 'Exameninstrumenten op orde' zijn collectieve afspraken uitgewerkt die zich richten op 
het verbeteren van de kwaliteit van de examenproducten. Deze afspraken 'Examinering - Collectieve 
afspraken Examenagenda mbo en Externe validering' zijn vastgesteld tijdens de Algemene 
ledenvergadering MBO Raad van 19 april 2016 (zie de set aan afspraken in bijlage 2). Ook de leden 
van NRTO hebben de collectieve afspraken geaccepteerd. 

De afspraken bevatten de volgende drie kernelementen (MBO Raad et al., 2016): 

• De mbo-brede criteria die nagevolgd moeten worden bij het construeren en vaststellen van 
examenproducten. 

• De verwijzing naar gebruik servicedocumenten en resultaten Analyse samenhang. 

• De toepassing van drie routes om te komen tot valide examenproducten. 
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De volgende 5 mbo-brede criteria die nagevolgd moeten worden bij het construeren en vaststellen 
van examenproducten zijn uitgewerkt (MBO Raad et al., 2016): 

• wettelijke kaders, kwalificatiedossier en standaarden zijn uitgangspunt 

• coproductie: door onderwijsinstellingen en bedrijfsleven 

• onafhankelijkheid is gewaarborgd 

• systematisch werken volgens vastgestelde processen 

• constructeurs en vaststellers hebben inhoudelijke expertise en handelen professioneel. 

In de nu vastgestelde collectieve afspraken is een verwijzing opgenomen naar het gebruik van - door 
een collectief van onderwijsinstellingen ontwikkelde - breed beschikbare servicedocumenten bij de 
constructie van exameninstrumenten, die de eisen uit de kwalificatie nader duiden. Met deze 
verwijzing wordt een directe relatie gelegd naar de resultaten van de Analyse samenhang (zie uitleg 
in 2.2). 

Tijdens de totstandkoming van voorliggend advies zijn de betrokken partijen regelmatig 
geconsulteerd. Daarbij is het idee van drie routes die leiden tot een valide examenproduct 
geïntroduceerd en waar nodig nader toegelicht. Vervolgens is het principe van de drie routes 
opgenomen in de collectieve afspraken die in de Algemene ledenvergadering zijn vastgesteld. De drie 
routes zijn nader uitgewerkt in hoofdstuk 4. 

2.2 Analyse samenhang 

Met de introductie van de herziene kwalificatiestructuur kwam ook het inzicht dat een aantal 
kwalificatiedossiers een (meer) generieke beschrijving van de inhoud kent. Het gevolg van deze 
situatie is dat een aantal van de herziene kwalificatiedossiers mogelijk veel ruimte voor interpretatie 
geeft in de doorvertaling naar onderwijs en examinering. 

Deze situatie roept de vraag op hoe gezorgd kan worden voor voldoende houvast voor het veld om 
te komen tot het borgen van de gelijkwaardigheid van de inhoud van het onderwijs, en de 
examinering. Voor het verkrijgen van de nodige houvast is een initiatief gestart voor het in kaart 
brengen en analyseren van de samenhang tussen kwalificatiedossiers, additionele informatie en 
exameninstrumenten ten behoeve van de zorgvuldige implementatie van de herziene dossiers 
enerzijds en de gewenste kwaliteitsverbetering van de examinering anderzijds. Hiermee worden 
twee belangrijke en actuele thema's in het mbo-onderwijs verbonden; de herziene 
kwalificatiestructuur en de ambitie om kwaliteitsverbetering van de examinering te bewerkstelligen. 

Ten behoeve van het uitvoeren van de analyse is onderstaand model (zie figuur 1) ontwikkeld. In het 
model is geïdentificeerd op basis van welke informatie de analyse is uitgevoerd (zie de toelichting op 
de verschillende elementen in bijlage 3). 
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Figuur 1. Elementen samenhang 

2.2.1 Resultaten Analyse 2.0 

Voor alle 487 herziene kwalificaties zijn bovenstaande elementen geïnventariseerd. Elk element 
heeft een eigen gewicht en de combinatie van elementen zijn gevat in beslisregels (zie bijlage 3 voor 
de uitgeschreven beslisregels). De beslisregels geven de mogelijkheid om per kwalificatie op basis 
van de geïnventariseerde elementen een oordeel te geven. Dit oordeel is uitgedrukt in een 
zogenaamde rating: A is weinig complex, B is complex en C is zeer complex. 


De dataset + rating is te vinden in bijlage 3. Voor de Analyse samenhang 2.0 is de dataset van maart 
2016 gebruikt. 

2.2.2 De collectieve afspraken en Analyse samenhang als basis voor een extra route 

Met de Examenagenda en bijbehorende collectieve afspraken in combinatie met de inzichten uit de 
Analyse samenhang is ruimte ontstaan voor een alternatief om te komen tot valide 
examenproducten. Dit alternatief staat naast inkopen bij een gecertificeerde instantie en extern 
valideren van een examenproduct. Het alternatief is uitgewerkt in een 3e route. Door deze route te 
openen ontstaan er voor onderwijsinstellingen drie gelijkwaardige routes waarin op een van de drie 
routes geen externe autoriteit de examenproducten beoordeeld, maar waar de collectieve afspraken 
moeten zorgen voor de borging van de kwaliteit. De introductie van het alternatief geeft de 
onderwijsinstellingen (mits zij de collectieve afspraken hebben onderschreven) de mogelijkheid een 
keuze te maken waarbij ook de economische aspecten op een evenwichtige manier kunnen worden 
meegenomen. Met de drie routes wordt het valideren van examenproducten uitvoerbaar en 
betaalbaar. 

2.3 Vervolgstappen collectieve afspraken, borging samenhang en spelregels 

Met het vaststellen van de collectieve afspraken (zie bijlage 2) hebben de MBO Raad en NRTO het 
openen van de derde route mogelijk gemaakt. In de komende periode moeten de collectieve 
afspraken op basis van volgende aandachtspunten worden geactualiseerd: 
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• opnemen van de verder uitwerkte norm uit dit advies (hoofdstuk 3) 

• afspraken maken over het toepassen, borgen en actualiseren Analyse samenhang. 

Het openen van een route waarbij voor het valideren van een examenproduct de inzet van een 
externe autoriteit niet nodig is vraagt om stevigheid aan de kant van de collectieve afspraken. 
Stevigheid in de zin van spelregels die ervoor zorgen dat de afspraken ook daadwerkelijk 
gehandhaafd worden. Aanvullend op de reeds gemaakte afspraken worden naar aanleiding van dit 
advies nog verder uitwerking van spelregels verwacht. Het gaat om spelregels die: 

• ervoor zorgen dat onderwijsinstellingen elkaar aanspreken op gedrag t.a.v. de ontwikkeling 
van examenproducten 

• consequenties helder maken die ongewenst gedrag van onderwijsinstellingen tot gevolg 
hebben 

• zorgen voor het openbaar maken van documentatie waarin gemaakte keuzes per instelling 
irt. keuzes voor het ontwikkelen of inkopen van examenproducten herleidbaar zijn. 
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3. Een norm voor valide examenproducten 

Het doel is om te komen tot valide examenproducten. Om meerdere routes mogelijk te maken die 
leiden tot een valide examenproduct is een solide basis nodig: een algemeen geldende set van 
afspraken om de kwaliteit van een examenproduct te garanderen. Daarom wordt in dit advies een 
norm voor valide examenproducten voorgesteld. In dit hoofdstuk wordt ingegaan op de inhoud van 
de norm. 

3.1 Solide basis 

De norm is opgebouwd uit de volgende vier elementen (zie figuur 2): 

1. producteisen examenproduct: eisen aan het individuele examenproduct 

2. proceseisen examenproduct: eisen aan de processen op basis waarvan examenproduct tot 
stand komt 

3. proceseisen organisatie: eisen aan de werkwijze (processen) van de instantie (organisatie) 
die de examenproducten ontwikkelt 

4. organisatie-eisen: eisen aan de organisatie-inrichting van de instantie die de producten 
ontwikkelt. 

de norm 


I ! ■ 

Proces Organisatie 

product i organisatie BmIIi 


Figuur 2. De norm voor valide examenproducten 

1. Producteisen examenproduct: Er zijn twee soorten producteisen: 

a. Toetstechnische eisen: dit zijn eisen aan het examenproduct gericht op examenvorm 
en examenkwaliteit, een passende cesuur, afnamecondities en beoordelingscriteria. 

b. Inhoudelijke eisen: dit zijn eisen aan het examenproduct gericht op de dekking van 
(het betreffende gedeelte) van de kwalificatie, de complexiteit en het niveau van het 
examen. 

Een set aan examenproducten gezamenlijk dient dekkend te zijn voor de betreffende 
kwalificatie: het exameninstrumentarium. 

2. Proceseisen examenproduct: Er is informatie over het proces van het construeren van een 
examenproduct nodig om de kwaliteit van het examenproduct te kunnen toetsen. Deze 
informatie wordt op aanwezigheid getoetst, maar niet inhoudelijk getoetst. 

3. Proceseisen organisatie: de werkwijze van de instantie die de producten ontwikkelt. 

4. Organisatie-eisen instantie: eisen die worden gesteld aan de organisatorische inrichting van 
de instantie die de examenproducten ontwikkelt. 
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3.2 Eisen 

In deze paragraaf worden de eisen voor de vier elementen uit de norm uitgewerkt en toegelicht. 

3.2.1 Producteisen examenproduct 

Een examenproduct voldoet aan het geldende toezichtskader van de Inspectie van het Onderwijs. 
Dat is op dit moment (mei 2016) het Toezichtskader bve 2012 (Inspectie van het Onderwijs, 2011), 
aangevuld met het addendum 2015 (Inspectie van het Onderwijs, 2015b). Vanaf 1 augustus 2017 zal 
naar alle waarschijnlijkheid het Onderzoekskader 2017 van kracht worden (Inspectie van het 
Onderwijs, 2016b). Dat is nu in concept gepubliceerd. De norm die hier wordt gepresenteerd is 
congruent met deze kaders. Wijziging in de kaders die consequenties hebben voor de norm, leiden 
tot een aanpassing van deze norm. De indicatoren uit het Toezichtskader bve 2012 zijn in de 
volgende tabel geoperationaliseerd naar de producteisen examenproduct. Deze operationalisering 
sluit aan bij het concept Onderzoekskader 2017. Daarnaast is er een eis toegevoegd over de 
deugdelijkheid van het examenproduct. 

Tabel 1. Producteisen norm valide examenproducten 

1.1 Onderscheid tussen ontwikkelingsgerichte toetsing en examinering 

Norm: er is duidelijk kenbaar gemaakt dat het hier gaat om een kwalificerend examenproduct. 
Toelichting: in de toelichting bij het examenproduct is voor studenten en beoordelaars duidelijk dat 
het een examenproduct betreft dat leidt tot/meetelt voor het behalen van een diploma. 

1.2 Dekking van de kwalificatie 

Norm: bij de inrichting van kwalificerende examenproducten - het exameninstrumentarium - is 
sprake van volledigheid en passende complexiteit, om de beroepsuitoefening op het vereiste 
beheersingsniveau zoals omschreven in de kwalificatie te examineren. 

Aangetoond is hoe het examenproduct is opgebouwd, hoe de afzonderlijke onderdelen ten opzichte 
van elkaar wegen en welke complexiteit het examenproduct heeft. 

Toelichting: het examenproduct maakt deel uit van een exameninstrumentarium dat voldoet aan 
deze norm. Per examenproduct is geïdentificeerd welk deel van de kwalificatie wordt afgedekt. 

1.3 Cesuur 

Norm: er is een verantwoorde procedure gevolgd voor het bepalen van de cesuur van het 
examenproduct. Dit ligt op het niveau waarop de student voldoet aan de vereisten. 

De cesuur is zodanig opgesteld dat de beoordeling (en daarmee de waardering van de kennis, 
vaardigheden en houding van de student) in totaal niet lager uitpakt dan voor de vakbekwaamheid 
voor het beroep en voor de generieke eisen voor taal en rekenen noodzakelijk is. 

Er is sprake van een evenwichtige, niet oneigenlijke puntentoekenning die recht doet aan het belang 
van kerntaken en werkprocessen. 

Er is sprake van een weging van de examenopdrachten onderling, die geen afbreuk doet aan de 
genoemde cesuur. 

Toelichting: de cesuur is expliciet vermeld (de grens tussen voldoende en onvoldoende is aangeven). 
Aangegeven is hoe zwaar de opdracht weegt. 

1.4 Beoordelingswijze 

Norm: het beoordelingsvoorschrift maakt objectieve beoordeling mogelijk. 
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• De beoordeling wordt gebaseerd op de omschrijving van vakkennis, vaardigheden en gedrag 
van de kwalificatie. 

• Als een examen(onderdeel) niet behaald wordt, wordt op het niveau van de 
beoordelingscriteria verantwoord wat de oorzaak daarvan is. 

Het beoordelingsvoorschrift is voorzien van richtlijnen die leiden tot een onafhankelijke beoordeling: 

• De beoordelingscriteria zijn herleidbaar in het beoordelingsvoorschrift opgenomen en een 
correct antwoordmodel of beoordelingsschema is beschikbaar (concreet, bondig, volledig). 

• De beoordelingscriteria zijn concreet en eenduidig. 

• De beoordelaar kan eruit opmaken welke (deel)waardering aan een prestatie van een 
student toegekend moet worden. 

• De beoordelaar kan eruit opmaken welke eindwaardering gegeven moet worden 
(scoremodel). 

• De beoordelaar kan de gegeven waarderingen conform het beoordelingsvoorschrift 
herleidbaar onderbouwen. 

• Uit de beoordelingsrichtlijnen blijkt dat de beoordeling plaatsvindt op het niveau van 
kerntaken en werkprocessen. 

Toelichting: er is een beoordelingsvoorschrift aanwezig waarin deze punten zijn opgenomen. 

1.5 Transparantie 

Norm: alle betrokkenen hebben een helder beeld van hoe het examen eruit ziet en hoe het wordt 
uitgevoerd en beoordeeld. 

• Studenten en beoordelaars zijn geïnformeerd over de beoordelingscriteria en de wijze 
waarop het examen zal plaatsvinden en over de beoordeling. 

• Het examenproduct is voorzien van afnamecondities en aanwijzingen voor de beoordelaars 
en de studenten voor de uitvoering van het examen. 

Toelichting: aangegeven wordt op welke manier studenten en beoordelaars worden geïnformeerd. 
Het examenproduct bevat een omschrijving van locaties, middelen, materialen en tijdsduur en 
aanwijzingen voor beoordelaars en studenten voor de uitvoering van het examen. 

1.6 Het is een deugdelijk examenproduct 
Het examenproduct: 

• is compleet 

• heeft een heldere lay-out 

• heeft correct taalgebruik: foutloos Nederlands (taal en grammatica) 

• heeft een tekst/taalgebruik dat past bij de doelgroep 

• voldoet aan toetstechnische eisen. 

Toelichting: een deugdelijk examenproduct is compleet: het bevat vragen/opdrachten, afname- en 
beoordelingsvoorschriften, slagingsnormen en de cesuur. 

Een deugdelijk examenproduct is ook in taal en vormgeving voor de gebruiker eenduidig te 
interpreteren. Het examen voldoet aan de toetstechnische eisen. De vragen zijn helder 
geformuleerd, voor één uitleg vatbaar en de antwoordmogelijkheden passen bij de vraagstelling en 
de beoordelingscriteria sluiten aan bij de opdracht (in het geval van een proeve). 
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3.2.2 Proceseisen examenproduct 

De proceseisen examenproduct gaan over informatie over de totstandkoming van het product. De 
beschikbaarheid van deze informatie wordt getoetst via de proceseisen in tabel 2. De informatie 
wordt niet apart inhoudelijk beoordeeld. 


Tabel 2. Proceseisen examenproduct norm valide examenproducten 


2.1 De relatie van de vragen/opdrachten met de inhoud van de kerntaak (examenmatrijs) 

Norm: de relatie van de vragen/opdrachten met de inhoud van de kerntaak is omgeschreven 
(examenmatrijs). Deze omschrijving geeft aan: 

• uit welke onderdelen het examenproduct is opgebouwd 

• hoe de afzonderlijke onderdelen ten opzichte van elkaar wegen 

• welke complexiteit het examenonderdeel heeft. 

Toelichting: deze omschrijving maakt duidelijk welke onderdelen van de kwalificatie op welke manier 
beoordeeld worden met het examen. 

2.2 De scheiding tussen constructie en vaststelling 

Norm: er is omschreven hoe de scheiding tussen het proces van het construeren en vaststellen van 
examenproducten is georganiseerd. De omschrijving bevat: 

• de taakverdeling tussen constructeurs en vaststellers 

• welke procedure is gevolgd om onafhankelijkheid en scheiding tussen de twee taken te 
borgen. 

Toelichting: deze omschrijving maakt duidelijk op welke wijze het construeren en vaststellen 
separaat en onafhankelijk van elkaar wordt uitgevoerd. 

2.3 De betrokkenheid van het bedrijfsleven 

Norm: er is omschreven of en hoe het bedrijfsleven betrokken is bij de totstandkoming van het 
examenproduct. 

Toelichting: de omschrijving geeft aan of en op welke wijze het bedrijfsleven betrokken is bij de 
totstandkoming van het examenproduct in het kader van aansluiting op de beroepspraktijk, waarbij 
rekening wordt gehouden met de de uitvoerbaarheid en organiseerbaarheid in de praktijk. 

2.4 De kwaliteitscriteria voor de vragen, antwoorden en slagingsnorm 

Norm: Er wordt omschreven welke kwaliteitscriteria er zijn gebruikt voor: 

• de vragen/opdrachten 

• de antwoorden/beoordelingscriteria 

• de slagingsnorm. 

Toelichting: bij het examenproduct wordt aangegeven op welke manier de kwaliteitscriteria bij de 
constructie van het examenproduct zijn geoperationaliseerd. 
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3.2.3 Proceseisen organisatie 

Proceseisen organisatie gaan over de werkwijze die een instantie hanteert bij het maken van 

examenproducten. Er wordt voorgesteld om de volgende proceseisen organisatie te toetsen: 

De relatie van de vragen met de inhoud van de kerntaak 

1. De gehanteerde methodiek voor het vaststellen van de examenvorm, het vaststellen van het 
aantal te stellen vragen/opdrachten en de wegingsfactor. 

2. De werkwijze bij het vaststellen van de herleidbaarheid van het examenproduct naar de te 
examineren werkprocessen en kerntaken. 

Gereedheid examenproduct 

3. De wijze waarop wordt besloten of een examenproduct gereed is. Vertegenwoordigers van 
onderwijsinstellingen en vertegenwoordigers uit het betreffende bedrijfsleven bepalen of een 
examenproduct gereed is 

De betrokkenheid van het bedrijfsleven 

4. De wijze (rollen en verantwoordelijkheden) waarop het bedrijfsleven al dan niet betrokken is 
bij het vaststellen van de herleidbaarheid van de te examineren werkprocessen en kerntaken 
naar een examenproduct. 

De kwaliteitscriteria voor de vragen, antwoorden en slagingsnorm 

5. De werkwijze bij de vaststelling van criteria met betrekking tot de kwaliteit van de 
examenvragen/opdrachten, antwoorden en slagingsnorm. 

6. De gevolgde procedure bij de ontwikkeling van de beoordelingsinstrumenten, waarbij de 
kwalificaties en daarvan afgeleide examenmatrijs aantoonbaar leidraad zijn. 

7. De procedure waarmee definitief vastgestelde beoordelingsinstrumenten worden 
vastgelegd. 

3.2.4 Organisatie-eisen instantie 

De organisatie-eisen gaan over de organisatorische inrichting van de instantie die examenproducten 

ontwikkelt. De organisatie-eisen zijn de volgende: 

1. Er is een beschrijving van de facilitering van de deskundigen die examenproducten 
ontwikkelen en vaststellen in uren, scholing en de benodigde middelen. 

2. Er is een schriftelijke vastlegging van het primaire proces door de instantie, waar nodig 
aangevuld met procedures en werkinstructies. Men dient een systeem in stand te houden 
voor de beheersing van alle relevante (verplichte) documentatie en gegevens. 

3. Er is aantoonbaar vastgesteld wat de werkwijze van de instantie is om te waarborgen dat zij 
op de hoogte is van de actuele wet- en regelgeving en de werkwijze om de consequenties 
van eventuele wijzigingen in die wet- en regelgeving op de eigen werkwijze te beoordelen en 
te implementeren. 

4. Er is aangetoond of en hoe het bedrijfsleven betrokken is bij de totstandkoming van de 
examenproducten. 

5. Het is inzichtelijk welke criteria gebruikt zijn ten aanzien van de deskundigheid van de interne 
en externe medewerkers die betrokken zijn bij het uitvoeren van activiteiten. 
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6. Eisen gesteld aan de medewerkers zijn vastgesteld en aantoonbaar in (personeels)dossiers. 
Uit documentatie moet blijken dat de betreffende medewerker bekwaam is om de 
betreffende taken uit te voeren. 

7. De instantie heeft een klachtenprocedure ingericht. 

Met dit hoofdstuk van het advies is de norm voor valide examenproducten uitgewerkt. Op basis 
hiervan kan van start gegaan worden met het toepassen van de norm. De toepassing van de norm 
wordt behandeld in hoofdstuk 4. Inzichten uit de toepassing van de norm kunnen zorgen voor 
verdere verfijning en aanvullingen. Over het beheer en toepassen van de norm worden uitspraken 
gedaan in hoofdstuk 5 van dit advies. In hoofdstuk 6 wordt ingegaan op de verankering van de norm 
in wet- en regelgeving of bestuurlijke afspraken. 
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4. Drie routes naar een valide examenproduct 

In dit hoofdstuk van het advies wordt ingegaan op de routes die door een onderwijsinstelling voor 
een specifieke kwalificatie te volgen zijn om tot valide examenproducten te komen. Er zijn drie routes 
gedefinieerd die samen de routekaart vormen. De norm beschreven in hoofdstuk 3 is van toepassing 
op alle drie de routes. Daarmee is de gelijkwaardigheid geborgd en komen uit de routes valide 
examenproducten voort. 

4.1 Valide examenproducten 

Valide examenproducten zijn altijd 'gevulde examens' en klaar om in te zetten voor examinering van 
de student (m.a.w. geen kaderexamens). De valide examenproducten samen vormen een valide 
exameninstrumentarium voor een kwalificatie. Voor 1 kwalificatie kunnen verschillende routes 
doorlopen worden om tot het volledige exameninstrumentarium te komen. In figuur 3 is de 
routekaart met de drie te bewandelen routes zichtbaar. De onderwijsinstelling verantwoordt welke 
route(s) zij per kwalificatie afloopt in een zogenaamd valideringsplan. De examencommissie stelt 
altijd na het doorlopen van de routes vast of de het exameninstrumentarium voldoet aan de norm en 
daarmee dekkend is voor de kwalificatie. 


J|l Route 1 


Inkopen bij gecertificeerde 


instantie 



Alleen binnen collectieve afspraken: 



Valide 

examenproduct 




Route 2 is niet open voor 
risicovolle kwalificaties 


PT 
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1 

Route 3 



Examenproduct aanbieden 
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Figuur 3. Drie routes naar een valide examenproduct 
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4.2 Route 1: inkopen bij een gecertificeerde instantie 

Een onderwijsinstelling kan ervoor kiezen om examenproducten voor een bepaalde kwalificatie in te 
kopen bij een gecertificeerde instantie. 



Valide 

examenproduct 


Figuur 4. Route 1 inkoop bij een gecertificeerde instantie 

4.2.1 Toepassing norm route 1 

Voor een bepaalde kwalificatie wordt er gebruik gemaakt van inkoop bij een gecertificeerde 
instantie. De instantie die de examenproducten ontwikkelt wordt getoetst aan de hand van de norm. 
De certificering vindt plaats op organisatieniveau en geldt daarmee dus voor alle examenproducten 
die de instantie aanbiedt. Voor certificering gelden alle eisen uit de norm: producteisen 
examenproduct (1), proceseisen examenproduct (2), proceseisen organisatie (3) en organisatie-eisen 
instantie (4). De examenproducten worden getoetst middels een steekproef. Bij de steekproef wordt 
uitgegaan van een toetsing van gevulde examenproducten. Er wordt op basis van ervaringen en 
eerste analyses voorgesteld om bij certificering te starten met een steekproef van 20% van de 
examenproducten per instantie. Hierbij geldt een ondergrens van 10 examenproducten. Dit 
percentage kan op basis van nader onderzoek en ervaringen in de praktijk worden bijgesteld. 

4.2.2 Te zetten stappen op route 1 

met gevulde examens 

Stap 1 De onderwijsinstelling kiest ervoor om voor een bepaalde kwalificatie 


een examenproduct in te kopen bij een gecertificeerde instantie en maakt haar 
keuze voor de route bij de betreffende kwalificatie kenbaar in het valideringsplan 
De onderwijsinstelling richt zich tot een gecertificeerde instantie en 
koopt voor de kwalificatie een examenproduct in. 

De examencommissie stelt het complete exameninstrumentarium, 

waaronder het ingekochte examenproduct vast voor de kwalificatie en borgt op deze 

wijze dat het instrumentarium voldoet aan de norm en dekkend is voor de 

kwalificatie. 

De onderwijsinstelling zet een valide exameninstrumentarium in bij 
examinering van de kwalificatie. 


Stap 2 


Stap 3 


Stap 4 


met een kaderexamen 

De praktijk wijst uit dat veel onderwijsinstellingen kaderexamens inkopen in plaats van gevulde 
examens. Ook kaderexamens vallen onder route 1. Het kaderexamen is op zichzelf geen valide 
product: dat is het pas als het gevuld is volgens de meegeleverde instructie (die ingaat op de invulling 
van het kaderexamen conform norm) en het tezamen met de totale set aan examenproducten voor 
de betreffende kwalificatie is vastgesteld door de examencommissie. De stappen op de route zijn dan 
als volgt: 
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Stap 1 De onderwijsinstelling kiest ervoor om voor een bepaalde kwalificatie een 

kaderexamen in te kopen bij een gecertificeerde instantie en maakt haar keuze voor 
de route bij de betreffende kwalificatie kenbaar in het valideringsplan. 

Stap 2 De onderwijsinstelling richt zich tot een gecertificeerd instantie en koopt 

voor de kwalificatie het kaderexamen in. 

Stap 3 De onderwijsinstelling vult het kaderexamen exact volgens de 

meegeleverde instructie. 

Stap 4 De examencommissie stelt het complete exameninstrumentarium, 

waaronder het ingekochte en volgens instructie gevulde kaderexamen, vast voor de 
kwalificatie en borgt op deze wijze dat het instrumentarium voldoet aan de norm en 
dekkend is voor de kwalificatie. 

Stap 5 De onderwijsinstelling zet een valide exameninstrumentarium in bij 

examinering van de kwalificatie. 


Let op! zodra de instructie van het kaderexamen niet gevolgd wordt bij het vullen van het examen of 
het kaderexamen zelf aangepast wordt, wordt het product als 'zelf ontwikkeld' beschouwd. Dan kan 
de onderwijsinstelling kiezen om met het product route 2 of route 3 te doorlopen. 


4.3 Route 2: zelf ontwikkelen binnen de collectieve afspraken 

Route 2 is alleen te bewandelen door onderwijsinstellingen die met de collectieve afspraken 
ingestemd hebben en deze bij het ontwikkelen van het product ook naleven. Binnen route 2 geeft de 
'Analyse samenhang 2.0 - dataset maart 2016' informatie per kwalificatie die nodig is om het vervolg 
van de route te bepalen. Per kwalificatie is duidelijk gemaakt welke rating bij de kwalificatie hoort 
(zie bijlage 3 voor het overzicht). Er zijn drie mogelijkheden: een kwalificatie kan een rating A, B of C 
hebben. De rating van de kwalificatie heeft op route 2 effect op de vervolgstappen op de route. 
Uiteindelijk leidt de route tot een 'valide examenproduct'. 



Figuur 5. Route 2 zelf ontwikkelen binnen de collectieve afspraken 
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4.3.1 Toepassing norm route 2 

De norm is van toepassing op route 2. Bij het zelf ontwikkelen binnen de collectieve afspraken, 
worden de producteisen examenproduct (1) en de proceseisen examenproduct (2) toegepast bij het 
construeren en vaststellen van examenproducten. 

4.3.2 Te zetten stappen op route 2 

Stap 1 De onderwijsinstelling besluit een examenproduct zelf te ontwikkelen 

Stap 2 De onderwijsinstelling controleert de rating van de betreffende kwalificatie. 

Stap 3 Voor kwalificaties met een A of een B rating kan de onderwijsinstelling route 2 

vervolgen. 

Voor kwalificaties met een C rating is het vervolgen van route 2 niet mogelijk : de onderwijsinstelling 
heeft de mogelijkheid om of het product zelf te ontwikkelen en het extern te laten valideren en 
daarmee voor route 3 te kiezen of (als dat mogelijk is) alsnog over te gaan op inkoop bij een 
gecertificeerde instantie en daarmee voor route 1 te kiezen. 

Vervolgstappen voor kwalificaties met een A rating 

Stap 4 De onderwijsinstelling maakt zijn keuze om route 2 voor de kwalificatie met 

de A rating te vervolgen kenbaar in het valideringsplan. 

Stap 5 De onderwijsinstelling volgt bij het ontwikkelen van het examenproduct de 

collectieve afspraken. Dat is voldoende om met een zelf ontwikkeld 
examenproduct voor een A kwalificatie te komen tot een valide product. Er wordt 
niets aanvullends verwacht bij het ontwikkelen van het examenproduct. 

Stap 6 de examencommissie stelt het complete exameninstrumentarium, 

waaronder het zelf ontwikkelde product, vast voor de kwalificatie en borgt op deze 
wijze dat het instrumentarium voldoet aan de norm en dekkend is voor de 
kwalificatie. 

Stap 7 de onderwijsinstelling zet een valide product in bij examinering van de 

kwalificatie. 

Vervolgstappen voor kwalificaties met een B rating 

Stap 4 de onderwijsinstelling maakt zijn keuze om route 2 te vervolgen kenbaar in 

het valideringsplan. 

Stap 5 De onderwijsinstelling volgt bij het ontwikkelen van het examenproduct de 

collectieve afspraken. Dat alleen is niet voldoende om tot een valide 
product te komen. Er wordt van een onderwijsinstelling een aanvullende actie 
(toegelicht in 4.3.3) verwacht bij het ontwikkelen van het examenproduct. 

Stap 6 De examencommissie stelt het complete exameninstrumentarium, 

waaronder het zelf ontwikkelde product, vast voor de kwalificatie en borgt op deze 
wijze dat het instrumentarium voldoet aan de norm en dekkend is voor de 
kwalificatie. 

Stap 7 De onderwijsinstelling zet een valide product in bij examinering van de 

kwalificatie. 
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4.3.3 Mogelijke aanvullende acties op route 2B 

Voor route 2B is alleen het navolgen van de collectieve afspraken niet voldoende om tot een valide 
product te komen. De onderwijsinstelling moet in deze route een aanvullende actie doen. Het 
definiëren van de aanvullende acties is nog een aandachtspunt (zie hiervoor hoofdstuk 7). 

Conform de Analyse en dataset samenhang 2.0 van maart 2016 zijn er 201 kwalificaties met een B 
rating. Voor 143 kwalificaties met een B rating is geen servicedocument beschikbaar en 48 
kwalificaties in de B rating hebben een brede context. 

Aanvullende acties 

Geadviseerd wordt de onderwijsinstellingen te laten starten met het ontwikkelen van 
servicedocumenten voor de 143 kwalificaties waar nog geen servicedocument voor is. De 
documenten moeten gericht zijn op de doorvertaling van kwalificatie-eisen naar examenproduct(en). 
Geadviseerd wordt de servicedocumenten op te stellen volgens een vastgesteld format (een dergelijk 
format dient nog ontwikkeld te worden). 

Verwachte resultaten 

Door het ontwikkelen van servicedocumenten voor kwalificaties waar nog geen servicedocument 
beschikbaar is, kunnen er twee dingen gebeuren: 

• Het servicedocument telt door in de beslisregels van de Analyse samenhang en de 
kwalificatie gaat van een B rating naar een A rating. 

• Het servicedocument telt niet door in de beslisregels, maakt geen verschil en de kwalificatie 
blijft in de B rating. Voor deze kwalificaties moet bedacht worden of en hoe er tot een valide 
product gekomen kan worden zonder dat het nodig is om over te gaan tot extern valideren. 
Gedacht kan worden in het zoeken van kwaliteit in het samenwerken in een 'klein collectief'. 
Het werken met een "klein collectief" is voor nu geïdentificeerd als een aandachtspunt (zie 
hiervoor hoofdstuk 7). 

Door het ontwikkelen van servicedocumenten gericht op de brede context kunnen er 2 dingen 
gebeuren: 

• Het servicedocument telt door in de beslisregels van de Analyse samenhang. Daarbij helpt 
het servicedocument per beroepencontext om vanuit een smalle context naar het 
examenproduct toe te werken. Zo komt de kwalificatie van een B rating naar een A rating. 

• Het servicedocument en de smalle context tellen niet door in de beslisregels, maakt geen 
verschil en de kwalificatie blijft in de B rating. Voor deze kwalificaties moet bedacht worden 
of en hoe er tot een valide product gekomen kan worden zonder dat het nodig is om over te 
gaan tot extern valideren. 
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4.4 Route 3: zelf een examenproduct ontwikkelen en extern laten valideren 

Onderwijsinstellingen en instanties kunnen gebruik ontwikkelen van route 3 om ontwikkelde 
examenproducten te laten valideren door een daarvoor aangestelde externe partij. 



Figuur 6. Route 3 examenproduct aanbieden voor externe validering 



Valide 

examenproduct 


4.4.1 Toepassing norm 

Externe validering vindt plaats op het niveau van het examenproduct. Dat betekent dat bij externe 
validering per product toetsing aan de producteisen examenproduct (1.) en de proceseisen 
examenproduct (2) van de norm plaatsvindt. 


4.4.2 Te zetten stappen op route 3 

Stap 1 De onderwijsinstelling of instantie kiest om een examenproduct zelf te 

ontwikkelen en maakt haar keuze voor de route bij de betreffende kwalificatie 
kenbaar in het valideringsplan. 

Stap 2 De onderwijsinstelling of instantie ontwikkelt het product en legt het 

product voor de betreffende kwalificatie voor bij een partij die het product kan 
valideren. 

Stap 3 De examencommissie stelt het complete exameninstrumentarium, 

waaronder het extern gevalideerde examenproduct, vast voor de kwalificatie en 
borgt op deze wijze dat het instrumentarium voldoet aan de norm en dekkend is 
voor de kwalificatie. 

Stap 4 De onderwijsinstelling zet een valide exameninstrumentarium in bij 

examinering van de kwalificatie. 


4.5 Verwachting t.a.v. gebruik routes 

Om een beeld te krijgen van het mogelijke gebruik van de routes, worden hier twee scenario's 
uitgewerkt. Deze scenario's geven inzicht voor de situatie dat er maximaal wordt ingekocht of voor 
de situatie dat er door de onderwijsinstellingen maximaal zelf examenproducten worden ontwikkeld. 

4.5.1 Scenario 1, maximale inkoop bij een instantie 

Wat als onderwijsinstellingen voor alle kwalificaties waar inkoop mogelijk is, ook daadwerkelijk 
inkopen, voor hoeveel kwalificaties moeten onderwijsinstellingen dan nog zelf producten ontwikkelen 
op route 2 of 3*? 


Omvang route 1, inkopen bij een gecertificeerde instantie: 

Uit de Analyse samenhang 2.0 versie maart 2016 blijkt dat voor 352 van de 487 kwalificaties 
onderwijsinstellingen producten kunnen inkopen die dekkend zijn voor de kwalificatie. De 
verwachting is dat het aantal kwalificaties waarvoor inkoop mogelijk is verder zal toenemen, voor 
diverse kwalificaties worden nog examenproducten ontwikkeld. 
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Omvang route 2, zelf ontwikkelen binnen de collectieve afspraken: 

Voor de 135 kwalificaties waar geen inkoop mogelijk is, moeten onderwijsinstellingen zelf producten 
ontwikkelen. 88 van die kwalificaties hebben een A rating, 42 kwalificaties een B rating. Voor deze 
kwalificaties kunnen examenproducten binnen route 2 worden ontwikkeld. 

Er zijn 5 kwalificaties met een C rating waar geen inkoop voor mogelijk is, echter via route 2 kunnen 
deze kwalificaties niet tot een valide product komen. 

Omvang route 3, zelf ontwikkelen en extern laten valideren: 

De 5 kwalificaties met een C rating waar geen inkoop voor mogelijk is moeten via route 3 (externe 
validering) tot valide examenproducten komen. 

*ln dit scenario wordt ervan uitgegaan dat alle onderwijsinstellingen toegang hebben tot route 2. 

4.5.2 Scenario 2, alle onderwijsinstellingen ontwikkelen zelf examenproducten 

Wat als alle onderwijsinstellingen kiezen voor route 2 en zelf examenproducten gaan ontwikkelen 
binnen de collectieve afspraken. 

Omvang route 2, zelf ontwikkelen binnen de collectieve afspraken: 

Voor 487 kwalificaties kunnen onderwijsinstelling kiezen om zelf producten te ontwikkelen. Als 
onderwijsinstellingen dat doen, kunnen ze route 2 vervolgen met 232 kwalificaties in de A rating en 
201 met een B rating. Voor de 54 kwalificaties met een C rating is geen vervolg op route 2 mogelijk. 
Voor deze kwalificaties moet uitgeweken worden naar route 3. 

Omvang route 3, zelf ontwikkelen en extern laten valideren: 

Voor de 54 kwalificaties met een C rating geldt dat de zelf ontwikkelde examenproducten voor deze 
kwalificaties aangeboden dienen te worden voor externe validering. 

4.5.3 Conclusie scenario's 

Bovenstaande scenario's laten zien wat de mogelijke belasting van de routes is. Hiervoor zijn 2 
uiterste scenario's geschetst. Scenario 1 past goed bij de wijze waarop de collectieve afspraken zijn 
ingestoken. In de afspraken wordt namelijk uitgegaan van 'inkoop, tenzij'. Als deze lijn gevolgd 
wordt in combinatie met de andere keuzemogelijkheid van route 2 blijft het aantal kwalificaties die 
op gaan voor externe validering beperkt tot circa 1% van de kwalificaties. Mochten ondanks de 
collectieve afspraken veel onderwijsinstellingen kiezen voor het zelf ontwikkelen van 
examenproducten, waarmee scenario 2 in zicht komt, dan geldt dat in de uiterste variant dat voor 
circa 12% van de kwalificaties de examenproducten op gaan voor externe validering. Hiermee kan 
geconcludeerd worden dat in beide scenario's de kostenpost die onderwijsinstellingen kunnen 
hebben als het gaat over externe validering beperkt blijft. 

4.6 Borging en verantwoording routes 

Onderwijsinstellingen hebben de vrijheid om per kwalificatie keuzes te maken voor route 1, 2 en/of 
3. Voor onderwijsinstellingen die niet met de collectieve afspraken ingestemd hebben staat in de 
eerste instantie route 2 niet open. 
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4.6.1 Borging 

Op route 1 en 3 wordt een externe toetsing gedaan door een partij die aangewezen wordt om 
instanties te certificeren of een examenproduct extern te valideren. Met deze externe toetsing wordt 
geborgd dat de producten die ontwikkeld zijn en ingezet worden voor examinering ook valide zijn. 

Voor route 2 is dat anders. Er is geen externe beoordeling vereist om tot een valide product te 
komen. Hiervoor is gekozen omdat op route 2 de collectieve afspraken gevolgd worden waarin de 
norm geborgd is. Bovendien draagt deze route eraan bij dat de gehele exercitie van het komen tot 
valide examenproducten uitvoerbaar en betaalbaar blijft. 

Onderdeel van de collectieve afspraken is dat onderwijsinstellingen in principe 'inkopen tenzij'. Met 
dit uitgangspunt wordt ervan uit gegaan dat route 2 beperkter wordt bewandeld (zie scenario 1 
vorige paragraaf) dan route 1. Daarin kan worden meegenomen dat het voor 352 van de 487 
kwalificaties mogelijk is om een product in te kopen. Dat is ongeveer driekwart van alle kwalificaties. 

Het is de verwachting dat binnen de collectieve afspraken ook wordt georganiseerd dat 
onderwijsinstellingen elkaar aanspreken op hun handelen. De wijze waarop dit georganiseerd gaat 
worden is nog een punt van aandacht, maar is een zeer belangrijk te nemen stap als het gaat om de 
handhaving van de routes. Om de controleerbaarheid tussen onderwijsinstellingen te vergroten, 
wordt het valideringsplan waarin onderwijsinstellingen hun keuzes verantwoorden ten aanzien van 
de gelopen routes, mogelijk onderdeel van het examenplan. Daarmee wordt het plan openbaar. Of 
en hoe dit verder georganiseerd wordt is nog een aandachtspunt. 

Op dit moment hebben de instellingen onder de MBO Raad en de leden van de NRTO ingestemd met 
de collectieve afspraken. Voor hen is route 2 open. Voor de toekomst is het nog een punt van 
aandacht als er meer instellingen zijn die zich willen aansluiten bij de collectieve afspraken. Wat zijn 
de vereisten om hierbij aan te sluiten? Als het gaat over handhaving is het bijvoorbeeld belangrijk dat 
een instelling aangesproken kan worden op de toepassing van de routes. Dit kan wel binnen de MBO 
Raad en met leden van de NRTO, de vraag is of dit ook mogelijk is voor niet-leden. Moet een 
instelling dan lid worden van de NRTO of is er een manier van organiseren waar dat niet nodig is en 
de betreffende instelling toch aangesproken kan worden? 

4.6.2 Rol examencommissie bij het komen tot valide exameninstrumentarium 

Alle routes leiden tot een valide examenproduct, de totale set van examenproducten vormt het 
exameninstrumentarium voor een kwalificatie. De totale set voldoet aan de norm uit hoofdstuk 3. 

Om dit te bekrachtigen stelt de examencommissie de totale set vast en beoordeelt daarmee ook of 
dat de set van producten de kwalificatie afdekt. Dit is gevisualiseerd in figuur 7: 
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Figuur 7. Het exameninstrumentarium wordt vastgesteld door de examencommissie 

4.6.3 Taak Inspectie van het Onderwijs ten opzichte van routes 

Het is van belang een helder onderscheid te maken tussen de routes die leiden tot een valide 
examenproduct en het toezicht van Inspectie van het Onderwijs. De formele taak van de inspectie 
wijzigt niet als gevolg van de introductie van de routes. Wat betreft het uitoefenen van het toezicht 
op de kwaliteit van de examenproducten is en blijft standaard 1 van de standaarden voor 
examenkwaliteit de norm. Zoals in voorliggend advies is aangegeven zijn de eisen van 
Examenstandaard 1 congruent met de producteisen die onderdeel zijn van de norm die leidt tot een 
valide exameninstrumentarium (zie hoofdstuk 3). Deze congruentie is voor de Inspectie van het 
Onderwijs een belangrijke randvoorwaarde om te komen tot een positieve reactie op voorliggend 
advies. 

De routes en het valideringsplan zorgen ervoor dat de onderwijsinstelling valide examenproducten 
inzet voor examinering. De validiteit van de examenproducten is een belangrijke aanwijzing voor het 
voldoen aan de eisen van Examenstandaard 1. De verwachting is dat inspectie bij het uitoefenen van 
haar toezichtstaak goede nota zal nemen van het gebruik van de routes door de 
onderwijsinstellingen. 

4.6.4 Keuze per kwalificatie herleidbaar in valideringsplan 

In het valideringsplan wordt voor een kwalificatie aangegeven welke keuze of keuzes gemaakt zijn 
om tot valide examenproducten te komen. Het valideringsplan vormt tevens de basis voor de 
examencommissie voor de controle op de dekking. 

In het valideringsplan is opgenomen: 

• Crebonummer 

• Naam van de kwalificatie. 

• Per crebo welk examenproducten worden ingezet. 

• Per crebo welke route(s) gelopen wordt om te komen tot een valide 
exameninstrumentarium: 

o of er examenproducten ingekocht worden bij een gecertificeerde instantie 
o en/of er examenproducten zelf ontwikkeld worden binnen de collectieve afspraken, 
welke rating de kwalificatie heeft en hoe route 2 vervolgens bewandeld wordt. 
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o en/of er sprake is van de inzet van te extern valideren examens en wat de uiterste 
datum van externe validering is (tijdstip afname examen) 

• Bij welke partij de inkoop van het examenproduct plaatsvindt of bij welke partij de externe 
validering uitgevoerd wordt. 

Mogelijk wordt het valideringsplan onderdeel van het examenplan en daarmee openbaar. Dit 
vergroot de controleerbaarheid van het naleven van de routes tussen onderwijsinstelling. Of en hoe 
dit verder georganiseerd wordt is nog een aandachtspunt. 

4.7 Voorbeelden keuzes onderwijsinstelling voor bewandelen bepaalde route 

Aan de hand van een aantal praktijkvoorbeelden worden in deze paragraaf de mogelijke keuzes voor 
de te lopen routes aangegeven. 

Voorbeeld 1 

De onderwijsinstelling heeft zich gecommitteerd aan de collectieve afspraken en ontwikkelt alle 
examenproducten voor kwalificatie X zelfstandig. De instelling wil de producten niet delen met 
andere onderwijsinstellingen. 

Te maken keuze door onderwijsinstelling: 

Route 2: 

• Als de kwalificatie een A rating heeft kan het examenproduct ontwikkeld worden, mits de 
collectieve afspraken worden nagekomen. 

• Als de kwalificatie een B rating heeft kan het examenproduct zelf ontwikkeld worden met 
daarbij de gedefinieerde aanvullende actie voor de betreffende kwalificatie. 

• Als de kwalificatie een C rating heeft kan het examenproduct zelf ontwikkeld worden. 
Vervolgens dient het extern gevalideerd te worden. 

Of route 3: 

• De onderwijsinstelling kan ook besluiten dat voor het zelf te ontwikkelen product gekozen 
wordt voor externe validering. Voor dit besluit hoeft de onderwijsinstelling niet te hebben 
ingestemd met de collectieve afspraken 

Voorbeeld 2 

De onderwijsinstelling ontwikkelt veel producten voor de kwalificaties zelf en wil dat ook blijven 
doen. 

Te maken keuze door onderwijsinstelling: 

Route 1: 

De onderwijsinstelling kan zich laten certificeren en daarmee voor zichzelf route 1 
openstellen. De zelf ontwikkelde producten tellen dan als 'inkoop'. 
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Route 2: 

Als de onderwijsinstelling met de collectieve afspraken heeft ingestemd, dan kan de 
onderwijsinstelling per kwalificatie een passende subroute binnen route 2 lopen. Voor de 
kwalificaties met een C rating kan de onderwijsinstelling besluiten om alsnog in te kopen of deze 
producten extern te laten valideren. 

Route 3: 

De onderwijsinstelling kan haar producten extern laten valideren. Dan geldt dat 
daadwerkelijk alle producten gecheckt worden. 

Aandachtspunt: Onderzoeken en besluiten hoe er met de toegankelijkheid van examenproducten 
van een gecertificeerde instantie wordt omgegaan. Moet een onderwijsinstelling die zich laat 
certificeren bijvoorbeeld ook zorgen dat haar producten voor derden beschikbaar zijn? 

Voorbeeld 3 

Er is sprake van een samenwerkingsverband van onderwijsinstelling die samen examenproducten 
ontwikkelen, hoe passen de examenproducten in de routes? 

Te maken keuze door onderwijsinstelling: 

Route 1 zelf open stellen: 

Een samenwerkingsverband van onderwijsinstellingen die samen examenproducten ontwikkelen kan 
zich laten certificeren. Daarmee stellen ze zelf de route 1 voor deze kwalificatie open. Het is wel 
nodig dat het samenwerkingsverband een zelfstandig rechtspersoon is of wordt die gecertificeerd 
kan worden. 

Route 2: 

Als iedere onderwijsinstelling in het samenwerkingsverband heeft ingestemd met de collectieve 
afspraken, dan kan ze per kwalificatie een passende subroute binnen route 2 lopen. Voor de 
kwalificaties met een C rating kan route 2 niet worden vervolgd. Dan kan de onderwijsinstelling 
besluiten om alsnog een examenproduct af te nemen bij een gecertificeerde instantie of deze 
producten extern te laten valideren. 

Route 3: 

Het samenwerkingsverband kan de producten ook extern laten valideren. Dan geldt dat 
daadwerkelijk alle producten gecheckt worden. 

Voorbeeld 4 

De onderwijsinstelling neemt voor kwalificatie X een examenproduct af. Het product is niet helemaal 
naar wens en de onderwijsinstelling maakt een grote (in hoofdstuk 5 wordt nader toegelicht wat 
verstaan wordt onder grote of kleine aanpassingen) wijziging op het product na inkoop. 
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Te maken keuze door onderwijsinstelling: 


Route 1: 

Nadat de onderwijsinstelling het product aangepast heeft biedt zij het product weer aan bij de 
gecertificeerde instantie. Deze voert een check uit op het aangepaste product en neemt het product 
op in haar aanbod. De onderwijsinstelling kan het gecheckte valide product inzetten. 

Route 2: 

De onderwijsinstelling sleutelt zelf aan het product, het product heeft dan niet meer de waarde van 
een 'ingekocht product'. De onderwijsinstelling slaat daarom de route in van 'zelf ontwikkelen'. Als 
de onderwijsinstelling met de collectieve afspraken heeft ingestemd, mag zij voor de kwalificaties 
met een A of B rating de keuze maken voor route 2. Voor de kwalificaties met een C rating kan route 
2 niet vervolgd worden. De onderwijsinstelling moet of inkopen bij een gecertificeerde instantie of 
het zelf ontwikkelde product extern laten valideren. 

Route 3: 

De onderwijsinstelling sleutelt zelf aan het product, het product heeft dan niet meer de waarde van 
een 'ingekocht product'. De onderwijsinstelling slaat daarom route 2 of 3 in. 

Voorbeeld 5 

De onderwijsinstelling neemt voor kwalificatie X een examenproduct af, vervolgens worden er kleine 
wijzigingen gedaan (in hoofdstuk 5 wordt nader toegelicht wat verstaan wordt onder grote of kleine 
wijzigingen) waardoor de examens studentspecifiek gemaakt kunnen worden. 

Te maken keuze door de examenleverancier: 

Route 1: 

Het product wordt nog steeds beschouwd als 'ingekocht' valide product. In dit 
scenario wordt uitgegaan van een hoofdproduct waar kleine aanpassingen aan 
worden gedaan waardoor er 'broertjes en zusjes' van dat product ontstaan. De 
veronderstelling is dat de kwaliteit van het product hiermee niet aangetast wordt. 

Voorbeeld 6 

Er is sprake van een examenleverancier die nog niet is gecertificeerd, hoe passen de 
examenproducten in de routes? 

Te maken keuze door de examenleverancier: 

Route 1 zelf openstellen: 

De leverancier kan zichzelf laten certificeren door een daarvoor aangewezen autoriteit. Daarmee 
maakt de leverancier inkoop zoals bedoeld op route 1 mogelijk. 

Route 3 producten extern laten valideren: 

Als de leverancier zich niet wil laten certificeren dan kan hij de producten aanbieden voor externe 
validering. 
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Let op! Als de mogelijkheid ontstaat dat ook examenleveranciers de collectieve afspraken mogen 
ondertekenen dan zou het kunnen dat ook zij route 2 mogen bewandelen. Hoe en of dit kan is nog 
een punt van aandacht (hoofdstuk 7). 
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5. Organisatie en uitvoering 

In voorgaande hoofdstukken is uitgewerkt hoe de norm voor valide examenproducten en de 
collectieve afspraken samen leiden tot drie routes om te komen tot valide examenproducten. De 
norm en de systematiek van de drie routes moeten beheerd worden en daarvoor is er een vorm van 
organisatie nodig. Ook is er een organisatie nodig om te bepalen wie examenproducten en instanties 
mag toetsen aan de norm (de uitvoering van externe validering en certificering). Er is een verkenning 
gedaan naar twee mogelijke oplossingen. Vervolgens is een advies geformuleerd voor de te kiezen 
oplossing. 

Daarnaast gaat dit hoofdstuk over de uitvoering van externe validering en certificering: Daarbij wordt 
het antwoord geformuleerd op de volgende vragen: 

• Wie bepaalt op route 1 (certificering) en route 3 (externe validering) van de routekaart of 
een instantie wordt gecertificeerd en een examenproduct valide is? 

• Volgens welke methodiek wordt dit getoetst? 

• En aan welke eisen voldoen de autoriteiten die extern valideren en/of certificeren? 

5.1 Organisatievormen 

5.1.1 Afwegingen 

Er is een aantal afwegingen te maken bij het kiezen van een organisatievorm voor het beheer en 
toepassing van de norm: 

• De mate van onafhankelijkheid van de organisatie: extern valideren en certificering staan 
voor een betrouwbaar, deugdelijk en onafhankelijk oordeel over de kwaliteit van 
examenproducten. Onafhankelijkheid is daarom ook een belangrijke eigenschap voor de 
organisatie die de norm beheert. 

• De mate van eigen verantwoordelijkheid en het lerend vermogen van de mbo-sector: De 
positieve lijn die is ingezet met de collectieve afspraken - waarmee route 2 een 
oplossingsrichting is geworden - kan doorgetrokken worden bij de verdere invulling van het 
traject om te komen tot valide examenproducten. Temeer omdat dat de afspraken rond de 
Examenagenda een looptijd kennen tot 2020. 

• De mogelijkheid om de uitkomsten van de Analyse samenhang 2.0 een plek te geven: de 
resultaten van Analyse samenhang 2.0 maken - naast de collectieve afspraken - route 2 
mogelijk. De informatie uit de analyse is essentieel om te bepalen welke route (en subroute 
binnen route 2) een onderwijsinstelling op kwalificatieniveau volgt. Naast het borgen van de 
norm, moet ook het overzicht van de kwalificaties met de bijbehorende rating geborgd 
worden. Deze informatie moet beschikbaar zijn voor alle onderwijsinstellingen (bekostigd en 
niet-bekostigd) en de informatie moet op nader te bepalen momenten worden 
geactualiseerd. 

• Tijdsafweging: bij het realiseren van de organisatievorm is tijd een factor. Afhankelijk van de 
gekozen organisatievorm is er een bepaalde periode nodig om de organisatie op- en in te 
richten. Welke oplossing ook gekozen wordt, het is duidelijk dat op 1 augustus 2016 de 
organisatie ten behoeve van beheer en toepassing van de norm nog niet actief is. Gevolg 
daarvan is dat het op 1 augustus 2016 nog niet mogelijk is om instanties te certificeren en/of 
examenproducten extern te valideren. 
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5.1.2 Twee mogelijke organisatievormen 

Gezien de afwegingen uit bovenstaande paragraaf worden twee organisatievormen voorgesteld en 
tegen elkaar afgewogen. Dit zijn een onafhankelijke stichting 2 of de Raad voor Accreditatie: 


Onafhankelijke voor 





validerende / certificerende autoriteit 


AUTORITEIT X AUTORITEIT Y AUTORITEIT Z 



Figuur 8. Twee mogelijke organisatievormen 

1. Organisatievorm onafhankelijke stichting 

• Het uitgangspunt is dat op initiatief van de sector een stichting wordt opgericht. De 
onafhankelijke positie van de stichting kan worden geborgd door middel van de statuten van 
de stichting en het vormgeven van de governance van de stichting. 

• Deze stichting kent een minimale personele bezetting. Er worden geen uitvoerende 
werkzaamheden in de stichting voorzien. 

• Door de oprichting van een onafhankelijke stichting op initiatief van de mbo-sector, wordt de 
verantwoordelijkheid voor valide examenproducten bij de mbo-sector zelf gelegd. 

Leerpunten en verbeterpunten rondom beheer en toepassing van de norm kunnen bij deze 
organisatievorm direct opgepakt worden. De positieve lijn die is ingezet met de 
Examenagenda en de collectieve afspraken - waarmee route 2 een oplossingsrichting is 
geworden - kan doorgetrokken worden bij de verdere invulling van het traject om te komen 
tot valide examenproducten. Temeer omdat de afspraken rond de Examenagenda een 
looptijd kennen tot 2020. 

• Tijdsinspanning: de inschatting is dat voor het oprichten en inrichten van een stichting door 
betrokken partijen (stakeholders) minimaal 6 maanden nodig is. 

• De onafhankelijke stichting wijst meerdere certificerende en validerende autoriteiten aan om 
examenproducten te toetsen aan de norm. 

• Bij deze organisatievorm is het mogelijk om naast het beheren van de norm, ook andere 
taken die gerelateerd zijn aan de drie routes (bijvoorbeeld beheer dataset samenhang 2.0) 
en het borgen van de examenkwaliteit toe te kennen. 


2 In dit advies wordt als organisatievorm de vorm van een stichting gebruikt. De definitieve rechtsvorm kan 
echter nog bepaald worden als dit advies wordt uitgevoerd en er een organisatie wordt opgericht. 
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2. Organisatievorm Raad voor Accreditatie (Raad voor Accreditatie, 2016) 

• De Raad voor Accreditatie is geen onderdeel van de mbo-sector hierdoor is de onafhankelijke 
positie geborgd; een onafhankelijke, deskundige en betrouwbare partij met kennis van en 
ervaring met normeren, het toetsen aan normen en het accrediteren van toetsende partijen. 

• De norm kan via een zogenaamde 'schemabeheerder' worden ondergebracht bij de Raad 
voor Accreditatie. 

• De raad kan autoriteiten die brood zien in het extern valideren en/of certificeren 
accrediteren. 

• Tijdsinspanning: op basis van de norm in dit advies kan van start gegaan worden met 
toepassing van de norm. Verwacht wordt dat inzichten uit de toepassing zorgen voor verdere 
verfijning en leiden een definitieve norm. Pas als de norm definitief is, kan deze worden 
ingebracht bij de Raad voor Accreditatie. Hierna volgt een traject van acceptatie door de 
raad. Autoriteiten die examenproducten en instanties willen toetsen aan de norm (extern 
willen valideren of certificeren) moeten geaccrediteerd zijn door de Raad voor Accreditatie. 
De inschatting is dat onderbrengen van de norm bij de Raad voor Accreditatie en het 
accrediteren van autoriteiten 6 maanden tot 12 maanden in beslag neemt nadat de norm 
definitief is. Dit aandachtspunt wordt in Hoofdstuk 6 en Hoofdstuk 7 van het advies nader 
toegelicht. 

• Bij deze organisatievorm is het niet mogelijk om naast het beheren van de norm, ook andere 
taken die gerelateerd zijn aan de drie routes en het borgen van de examenkwaliteit onder te 
brengen. 

5.1.3 Voorkeursvariant: onafhankelijke stichting 

Het advies is om te kiezen voor de organisatievorm van een onafhankelijke stichting, omdat: 

• Een onafhankelijke stichting het continueren van de ingezette lijn van collectiviteit, het 
lerend vermogen en eigen verantwoordelijkheid van de mbo-sector mogelijk maakt. 

• Het mogelijk is om direct vanaf 1 augustus 2016 te werken in de geest van een 
onafhankelijke stichting 

• Een keuze voor de Raad voor Accreditatie de norm op grotere afstand van de sector plaatst. 
Het nemen van verantwoordelijk door de mbo-sector wordt hiermee niet gestimuleerd. 

• De keuze voor de Raad voor Accreditatie beperkingen met zich meebrengt voor het op basis 
van voortschrijdend inzicht (bijvoorbeeld bij de implementatie van voorliggend advies) de 
afspraken rondom validering en certificering verder te verbeteren. Hierbij wordt opgemerkt 
dat na verloop van een zekere periode en verdere stabilisatie van de kwaliteit van de 
examenproducten alsnog kan worden overwogen de norm onder te brengen bij de Raad voor 
Accreditatie 

• Er draagvlak is bij de betrokken partijen om in ieder geval te starten met een onafhankelijke 
stichting. VNO-NCW en OCW benoemen onafhankelijkheid als een belangrijke component. 
Daar moet gericht aandacht voor zijn in het vormgeven van een stichting. 

• Bij een onafhankelijke stichting ook het beheer van de Analyse en dataset samenhang kan 
worden ondergebracht. Dit is bij de Raad voor Accreditatie niet mogelijk. 
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Daarbij wordt opgemerkt dat: 

• Het initiatief voor de stichting bij de mbo-sector ligt. De stichting is geen 
verantwoordelijkheid van het Ministerie van OCW. Uitblijven van het initiatief van de mbo- 
sector kan betekenen dat het Ministerie van OCW de borging op een andere wijze gaat 
organiseren waarbij gebruik maken van de Raad voor Accreditatie voor de hand ligt. 

• Bij de concrete invulling van de taken rekening gehouden dient te worden met de 
uitvoeringslast die bij deze stichting komt te liggen: de stichting dient zo lean en mean 
mogelijk te worden ingericht met een zo laag mogelijke uitvoeringslast. 


5.1.4 Invulling voorkeursvariant stichting 

De invulling van een onafhankelijke stichting leidt tot het volgende beeld in figuur 9.: 



Bestuur: 

stakeholders & onafhankelijke voorzitter 



Onafhankelijke stichting 
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beheer norm 

selecteren validerende & 
certificerende autoriteiten 
+ beheer register 

beheer informatieset 
samenhang 

Éw 
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beheer set van eisen 
gesteldaan validerende / 
certificerende autoriteiten 

monitoring/handhaving 
werken volgens 3 routes 

mogelijke landingsplaats 
initiatieven rondom 
examinering? 


Figuur 9. Onafhankelijke stichting 

Bij het oprichten van een onafhankelijke stichting moet een aantal keuzes gemaakt worden die 
betrekking hebben: 

1. De borging van de onafhankelijkheid 

2. De besturing van de stichting 

3. De taken van de stichting. 
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ad 1. onafhankelijkheid 

Om onafhankelijk te borgen wordt aangeraden om de stichting en de uitvoerende taken van de 
stichting niet onder te brengen bij een bestaande organisatie of een van de betrokken partijen uit de 
sector. Bij de uitwerking van de statuten van de stichting moet de invulling van onafhankelijkheid een 
plek krijgen. 

ad 2. besturing 

Met de betrokkenen bij de Examenagenda mbo 2015-2020 (Het Ministerie van OCW, MBO Raad, 
NRTO, examenleveranciers, het bedrijfsleven) wordt overlegd hoe het bestuur van de stichting vorm 
te geven is. 

Om te voorkomen dat het bestuur enkel een verzamelplaats van belangen wordt, is het advies om 
een onafhankelijk voorzitter te benoemen die het bestuur leidt. 

Gezien de expertise en de toezichtstaak van de Inspectie van het Onderwijs en de kaderstellende 
functie van het Ministerie van OCW zou de stichting een adviesraad, college van deskundigen of 
klankbordgroep kunnen krijgen waarin beide organisaties deel kunnen nemen. Ook de eventuele 
betrokkenheid van andere partijen bij dit onderwerp, zou daar een plek kunnen krijgen. 

ad 3. taken 

De stichting geeft uitvoering aan een aantal taken rondom het beheer en de toepassing van de norm 
voor valide examenproducten in de praktijk. Daarnaast kan de stichting in dit kader een aantal 
aanvullende taken toebedeeld krijgen. De taken van de stichting bestaan uit: 

• Het beheren van de norm en wanneer nodig voorstellen doen voor actualisatie van de norm. 

• Het aantrekken en selecteren van meerdere validerende en certificerende autoriteiten waar 
onderwijsinstellingen en te certificeren instanties terecht kunnen voor het extern valideren 
en certificering en deze informatie ontsluiten voor de onderwijsinstellingen en 
examenproductinstanties. 

• Eigenaar/beheerder van de set van eisen die gesteld worden aan validerende en 
certificerende autoriteiten. Deze set van eisen wordt toegelicht in paragraaf 5.2 van dit 
hoofdstuk. 

• Het beheren, actualiseren en ontsluiten van de systematiek en Analyse samenhang 2.0 en 
bijbehorende rating die wordt toegepast op route 2. 

• Monitoring en handhaving van de uitvoering van de drie voorgestelde routes: werkt het 
systeem en worden de afspraken en spelregels gevolgd? 

• Mogelijke landingsplaats initiatieven rondom examinering: de stichting kan zich desgewenst 
ontwikkelen tot een plek waar initiatieven die te maken hebben met de kwaliteitsverbetering 
van examenproducten en examinering samen komen en gedeeld worden. 

5.2 Uitvoering externe validering en certificering 

In hoofdstuk 4 is aangegeven dat bij route 1 sprake is van certificering en bij route 3 sprake is van 
externe validering. Betrokken partijen hebben in eerder onderzoek van IVA Onderwijs aangegeven 
dat zij belang hechten aan de aanwezigheid van meerdere validerende deskundigen/autoriteiten in 
verband met keuzevrijheid: 
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een van de taken van de voorgestelde stichting is het selecteren van meerdere autoriteiten die 
instanties mogen certificeren (Route 1) en examenproducten extern mogen valideren (Route 3) (Vink 
& Willemse, 2015). 3 De stichting publiceert een register met de door hen geselecteerde extern 
validerende en/of certificerende autoriteiten. In de volgende paragraaf wordt voorgesteld aan welke 
eisen validerende en certificerende autoriteiten moeten voldoen. 

5.2.1 Set van Eisen gesteld aan extern validerende/en of certificerende autoriteiten en 
deskundigen 

Om deskundigheid en onafhankelijkheid van de extern validerende/certificerende autoriteiten te 
garanderen is er een set van eisen nodig waar deze autoriteiten en de deskundigen die de 
certificering en/of externe validering uitvoeren aan moeten voldoen. Hieronder wordt een basisset 
van eisen voorgesteld. De onafhankelijk stichting kan deze eisen nader vaststellen. 

1. Eisen aan extern validerende en/of certificerende autoriteiten 

Om onafhankelijkheid en deskundigheid te waarborgen moeten de certificerende/extern validerende 
autoriteiten voldoen aan de volgende eisen: 

• De certificering en externe validering worden uitgevoerd door onafhankelijke partijen: de 
validerende en certificerende autoriteiten en deskundigen die ingezet worden bij de 
validering en certificering geen functionele relatie hebben met de betreffende 
onderwijsinstelling of instantie. 

• De externe validering en certificering worden uitgevoerd door deskundige personen. Daarbij 
wordt aangemerkt dat het naar verwachting - zeker voor het vakinhoudelijke deel - niet 
haalbaar en ook niet wenselijk is om als validerende/certificerende autoriteit al deze 
deskundigen zelf in dienst te hebben. Deskundigheid vanuit het onderwijs- en beroepenveld 
kan betrokken worden bij de validering/certificering, waarbij de eis van een onafhankelijke 
positie ten opzichte van de betreffende onderwijsinstelling of instantie blijft gelden. Deze 
deskundigen opereren onder de verantwoordelijkheid van de certificerende/validerende 
autoriteiten. 

• De autoriteit heeft aangetoonde ervaring met de beoordeling van producten, organisaties en 
systemen volgens bepaalde systematieken. 

• De externe validering van examenproducten en certificering van instanties geschiedt op 
systematische/gestandaardiseerde wijze volgens vastgestelde richtlijnen (methodiek). 

• Deze methodiek omvat de toepassing van de eisen uit de voorgestelde norm voor valide 
examenproducten. 

• De toetsing en de uitslag van de toetsing van het betreffende examenproduct/de 
betreffende instantie worden in een toetsingsrapport beschreven. 

• Bij de autoriteit is een klachtenregeling/procedure voor bezwaar en beroep aanwezig. 

2 . Eisen extern validerende en/of certificerende deskundigen 

De certificerende/validerende autoriteit wijst voor de uitvoering van de externe validering en/of 
certificering gekwalificeerde deskundigen aan die beschikken over examentechnische en 
vakinhoudelijke deskundigheid. 


3 Bij een keuze voor de organisatie via de Raad voor Accreditatie, kunnen organisaties zich aanmelden bij de 
Raad voor de Accreditatie. De raad besluit volgens haar eigen criteria of de organisaties geaccrediteerd worden 
om tegen de valideringsnorm te mogen toetsen. 
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Deze deskundige voldoet aan een aantal eisen qua vakinhoudelijke expertise. De deskundige: 

• heeft kennis van de kwalificatie, kennis van de essentie van het beroep 

• heeft kennis van actuele beroepspraktijk in relatie tot de examenproducten 

• kan een beargumenteerd oordeel kunnen vormen over de mate waarin een examenproduct 
qua inhoud, mate van zelfstandigheid, complexiteit, vorm en actualiteit past bij de inhoud en 
het niveau van de kwalificatie-eisen en de beroepspraktijk 

• heeft aantoonbare werkervaring: 3 jaar (onderwijs)ervaring in het betreffende vakgebied of 
3 jaar werkzaam in het betreffende vakgebied en aantoonbare affiniteit met examinering. De 
deskundige is bij voorkeur nog actief in het betreffende vakgebied en anders maximaal 3 jaar 
niet meer actief. 

De deskundige voldoet aan de volgende eisen qua toetstechnische expertise. Deze deskundige: 

• heeft kennis van wet- en regelgeving geldend voor examens in het mbo 

• heeft kennis van de kwalificatie 

• heeft kennis van de examenvormen 

• heeft kennis van examinering in het mbo 

• heeft kennis van begrippen zoals validiteit, betrouwbaarheid, transparantie, cesuurbepaling 

• kan een beargumenteerd oordeel vormen over de mate waarin een examenproduct voldoet 
aan geldende wet- en regelgeving (waarderingskader, kwalificatiedossier) 

• kan een beargumenteerd oordeel vormen of het examenproduct voldoet aan het 
examenpian/examenmatrijs 

• kan zorgvuldig en systematisch handelen vanuit kwaliteitsbewustzijn bij het beoordelen van 
examenproducten op toetstechnische en vakinhoudelijke kwaliteit 

• kan de kwaliteit en geschiktheid van examenproducten vaststellen, variërend van schriftelijke 
examens, proeven van bekwaamheid, portfolio's en deze onderbouwen 

• kan een (verbeter)advies formuleren wanneer een examenproduct niet op orde is 

• heeft een onderwijskundige achtergrond, aantoonbare kennis van en ervaring in het 
vaststellen examenproducten, ondertekent een verklaring betreffende onafhankelijk en 
geheimhouding. Verplicht zich om kennis en vaardigheden te onderhouden en te verbeteren 
door scholing, systematisch evalueren eigen functioneren en dat van anderen. 

5.2.2 Werkwijze/methodiek extern valideren en certificeren 

Het proces van extern valideren/certificeren ziet er als volgt uit: 

1. De onderwijsinstelling of instantie maakt een keuze uit de door de stichting geselecteerde 
autoriteiten (register) en neemt contact op met de validerende/certificerende autoriteit. 

2. Deze autoriteit toetst bij externe validering het examenproduct aan de norm. Deze autoriteit 
toetst bij certificering de te certificering instantie en een steekproef van gevulde 
examenproducten aan de norm. Voor externe validering en certificering worden vaste 
werkwijzen/instructies ontworpen. 

3. De (uitkomst van) toetsing wordt door de validerende/certificerende autoriteit vastgelegd in 
een rapportage: het toetsingsrapport. 

4. De validerende/certificerende autoriteit geeft - bij een positieve uitslag - met het 
toetsingsrapport 'het stempel' valide examenproduct of gecertificeerde instantie af en geeft 
daarbij de geldigheidsduur aan. 
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5. Bij de inkoop van een kaderexamen van een gecertificeerde instantie geldt dat dit 
kaderexamen pas 'het stempel' valide kan krijgen nadat de onderwijsinstelling het 
kaderexamen volgens de bijbehorende instructie gevuld heeft en deze is vastgesteld door de 
examencommissie. 

ad 2 Toetsing 

Voor de toetsing geldt dat: 

• Alle aspecten zijn aanwezig en worden door de validerende/certificerende autoriteit 
voldoende bevonden. 

• Voor de eis dekking (eis 1.2. uit de producteisen examenproduct) wordt in plaats van 
voldoende/onvoldoende getoetst welk deel van de kwalificatie wordt gedekt met het 
betreffende examenproduct. 

• Bij de inkoop van een kaderexamen van een gecertificeerde instantie geldt dat dit 
kaderexamen pas 'het stempel' valide kan krijgen nadat de onderwijsinstelling het 
kaderexamen volgens de bijbehorende instructie gevuld heeft en deze is vastgesteld door de 
examencommissie. 

• Voor de toetsing van de proceseisen examenproduct geldt dat alle gevraagde informatie 
aanwezig is. Hier vindt geen inhoudelijke beoordeling plaats van de aangeleverde informatie. 

• Als er aspecten niet aanwezig zijn en/of door de validerende/certificerende autoriteit 
onvoldoende worden bevonden, dient bijstelling van het examenproduct/instantie plaats te 
vinden binnen een afgesproken periode. Na bijstelling wordt het examenproduct opnieuw 
ter validering aangeboden of wordt de certificeringsprocedure vervolgt. 

ad 3 Toetsingsrapport 

Een toetsingsrapport geeft aan of het betreffende examenproduct valide is en of de te certificeren 
instantie voldoet aan de eisen uit de norm. Als het examenproduct/de instantie niet voldoet dan 
omvat het rapport aanwijzingen voor verbetering en geeft aan hoe en wanneer die moeten worden 
ingediend. Het toetsingsrapport is - bij een positief oordeel - het bewijs voor onderwijsinstellingen en 
gecertificeerde instanties dat zij valide examenproducten inzetten. Zoals bij de werkwijze en ad 2 
aangegeven neemt het kaderexamen hier een aparte positie in. Het rapport geeft: 

• Per eis aan of het examenproduct voldoende/onvoldoende is. Voor de eis dekking (eis 1.2 uit 
de producteisen examenproduct) wordt in plaats van voldoende/onvoldoende vermeldt welk 
deel van de kwalificatie wordt gedekt met het betreffende examenproduct. 

• Een algemeen oordeel over het examenproduct. 

• Bij certificering per eis aan of de instantie voldoet aan de organisatieproceseisen en de 
organisatie-eisen. 

• Bij certificering een algemeen oordeel over de te certificeren instantie. 

• Bij een negatief oordeel aanwijzingen voor verbetering die door de aanleverende 
onderwijsinstelling/instantie moeten worden opgevolgd. 

• Indien van toepassing aan op welke manier de verbeterde versie wordt ingediend. 

• Indien van toepassing aan wat de termijnen zijn waarbinnen deze versie wordt ingediend 

• De geldigheidsduur van de externe validering/certificering aan. 
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ad 4 geldigheidsduur 

Bij een positieve uitkomst van de toetsing aan de norm, krijgen extern gevalideerde 
examenproducten of gecertificeerde instanties 'een stempel van goedkeuring', waarbij een 
kaderexamen pas valide is nadat het examen volgens instructie is ingevuld en vastgesteld door de 
examencommissie. Betreft de geldigheidsduur van dit 'stempel' wordt het volgende voorgesteld: 

• Extern gevalideerde examenproducten zijn geldig tot ze worden gewijzigd, tot de kwalificatie 
waarvoor het examenproduct is bedoeld wordt aangepast of tot de norm wordt gewijzigd. 
Eenmaal goed is goed, zolang er geen wijzigingen. 

• Wijzigen betekent in ieder geval dat een examenproduct zodanig wordt aangepast, dat bij 
toetsing aan de norm een eis opnieuw getoetst zou moeten worden. Dit gaat bijvoorbeeld 
om het wijzigen of verwijderen van vragen (dekking), cesuur, beoordelings- en 
afnamecriteria. Cosmetische aanpassingen of aanpassingen om het examen geschikt te 
maken voor een bepaalde doelgroep - worden niet beschouwd als een wijziging van het 
examenproduct. Er is een nadere specificatie nodig over wanneer een wijziging leidt tot het 
opnieuw volgen van een route om te komen tot een valide examenproduct en wanneer het 
een cosmetische aanpassing betreft. Dit wordt in hoofdstuk 7 Aandachtspunten en acties 
benoemd. 

• Gecertificeerde instanties zijn gecertificeerd voor een periode van drie jaar. Aangezien de 
organisatie(processen) en een steekproef van examenproducten zijn getoetst is het logisch 
om met enige regelmaat te herzien of de betreffende instantie nog voldoet aan de norm. 
Tussentijdse wijzigingen geeft de instantie door aan de certificerende autoriteit. 
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6. Van advies naar praktijk: aan de slag met een 
overgangsperiode 

Dit advies is gericht op het neerzetten van een stevige basis om te komen tot valide 
examenproducten. Hierbij zijn volgens dit advies nodig: 

1. collectieve afspraken 

2. Analyse samenhang 2.0 

3. een norm voor valide examenproducten 

4. drie routes naar een valide examenproduct 

5. een onafhankelijke stichting voor het beheer van de norm en systematiek 

6. validerende/certificerende autoriteiten die voldoen aan een set van eisen. 

In dit hoofdstuk wordt uiteengezet wat het betekent in tijd om van advies naar praktijk te komen. 
Hierbij wordt voor een overgangsperiode gepleit. Er wordt ingegaan op de wijze waarop op korte 
termijn al aan de slag gegaan kan worden. 

6.1 De overgangsperiode 

Voor een aantal van bovenstaande adviespunten geldt dat zij klaar zijn voor gebruik en voor een 
aantal geldt dat er tijd nodig is voor realisatie: 

1. De collectieve afspraken zijn in een ver stadium van ontwikkeling op het moment van 
uitbrengen van dit advies. Naar verwachting werken de leden van de MBO Raad en de NRTO 
vanaf augustus 2016 volgens de collectieve afspraken. 

2. De Analyse samenhang 2.0 is uitgevoerd. De rating die voortkomt uit deze analyse kan na het 
uitbrengen van het advies - met toestemming van het Ministerie van OCW - worden 
gepubliceerd en worden ingezet bij de uitvoering van de collectieve afspraken op route 2. 

3. De norm: 

a. Dit advies geeft een solide basis voor een norm voor valide examenproducten, en 
moet gezien worden als een goed startpunt. Echter is het van belang ruimte te 
houden voor inzichten bij de toepassing van de norm die leiden tot verdere verfijning 
en aanvullingen. 

b. Daarnaast moet de afweging worden gemaakt of de norm wordt verankerd in wet¬ 
en regelgeving of in collectieve afspraken. Omdat er sprake is van een startversie van 
de norm is op dit moment verankering in wet- en regelgeving nog niet aan de orde. 
De startversie van de norm kan wel direct geborgd worden in de collectieve 
afspraken. Tijdens de periode van de eerste toepassing van de norm, kan worden 
bezien of de borging van de norm in de collectieve afspraken aan de verwachtingen 
voldoet. Echter, het is ook denkbaar dat, omwille van de soliditeit van de basis, 
borging in wet- en regelgeving de voorkeur geniet. Verankering in wet-en regelgeving 
betekent dat er tijd nodig is om procedures te doorlopen. 

4. De systematiek om te komen tot valide examenproducten via 3 routes is in dit advies 
uiteengezet. Route 2 staat open met inwerkingtreding van de collectieve afspraken. Voor de 
route 1 geldt dat er een aangepaste openstelling in werking kan treden tot het mogelijk is om 
te certificeren. Voor route 3 geldt dat eerst externe validering in werking moet treden. In 6.3 
Aan de slag met valide examenproducten wordt dit verder toegelicht. 
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5. 


Het advies stelt voor een onafhankelijke stichting op- en in te richten. De realisatie van een 
stichting neemt tijd in beslag. Dit geldt overigens ook voor het onderbrengen van de norm bij 
de Raad voor Accreditatie. 

6. Om externe validering en certificering te kunnen uitvoeren moeten er een aantal autoriteiten 
worden geselecteerd. Deze selectie neemt tijd in beslag. Daarnaast moet er een instructie 
worden ontworpen om de toetsing aan de norm systematisch en door alle autoriteiten gelijk 
te kunnen uitvoeren. 


Zoals hierboven aangetoond, is voor een verantwoorde implementatie tijd nodig. Het voorstel is om 
deze tijd te gebruiken als een overgangsperiode. Daarnaast wordt in de overgangsperiode gestart 
met het werken volgens de drie routes om te komen tot valide examenproducten. 

6.2 Van advies naar praktijk 

De hierboven voorgestelde overgangsperiode is nodig om een aantal kernpunten uit het advies te 
realiseren. In figuur 10. is dit weergegeven: 


augustus 2016 


start collectieve 
afspraken 


TAKEN 


datum X 



collectieve afspraken 
aangevuld 


norm Tl 


routekaart open 
voor gebruik 


kwartiermaker 



vastgelegde norm 


routekaart volledig 
in gebruik 


Figuur 10. Invulling overgangsperiode 


Norm Tl - vastgelegde norm 

• Tl is de stand van zaken op 1 augustus 2016 met de norm zoals geformuleerd in voorliggend 
advies. Deze norm Tl heeft verfijning en op sommige punten nadere uitwerking nodig. De 
eisen voor de norm zijn in dit advies zo specifiek mogelijk geformuleerd, maar het 
abstractieniveau verschilt, voornamelijk in verband met de toevoeging van de eisen met 
betrekking tot certificering. De norm Tl moet worden uitgewerkt tot een definitieve vast te 
leggen norm, die op T2 in werking treedt. 

• De norm Tl kan starten als onderdeel van de collectieve afspraken, die kunnen immers op 
korte termijn in werking treden. De norm Tl kan ook worden gebruikt als onderlegger bij 
route 2. Er moet daarnaast worden onderzocht of de norm T2 definitief wordt verankerd in 
wet- en regelgeving of een onderdeel van de collectieve afspraken blijft. 
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Hierbij zijn twee aandachtspunten (zie hoofdstuk 7) van belang: 

1. de relatie met de Regeling standaarden examenkwaliteit mbo 2012: kunnen er 
twee gelijksoortige wettelijke regelingen over de kwaliteit van examenproducten 
naast elkaar bestaan? Hoe verhouden de voorgestelde norm en de 
Examenstandaarden (waar de Inspectie van het Onderwijs haar toezicht op baseert) 
zich tot elkaar? 

2. de definitieve norm is algemeen geldend, voor het gehele mbo-onderwijs: er zijn 
onderwijsinstellingen in het niet-bekostigd onderwijs die niet zijn aangesloten bij de 
NRTO en daarmee tot nu toe buiten de collectieve afspraken vallen. Een 
aandachtspunt (zie hoofdstuk 7) is hoe hier mee om te gaan. 

Kwartiermaker & taken: Het advies is om een kwartiermaker aan te stellen. Deze kwartiermaker 
krijgt de opdracht om te zorgen dat: 

1. Na het vaststellen van voorliggend advies alle betrokken partijen op gedegen wijze op de 
hoogte worden gesteld van het advies, de consequenties van het advies en de 
vervolgstappen. 

2. Indien er wordt gekozen voor de stichting het initiatief van de mbo-sector te begeleiden en 
samen te werken aan oprichting en inrichting van de stichting. 

3. De routes 1 en 2 worden opengesteld en dat de resultaten van deze openstelling adequaat 
worden geadministreerd zodat de inspanningen kunnen worden benut voor definitieve 
validering en/of certificering. Zie voor een toelichting op het openstellen van route 1 en 2 
paragraaf 6.3 Aan de slag met valide examenproducten in de overgangsperiode. 

4. De norm naar de definitieve versie wordt gebracht. 

5. De in het voorliggende advies geïdentificeerde aandachtspunten in een actieplan worden 
uitgewerkt. 

6. Het actieplan wordt uitgevoerd. 

7. Er regelmatig voortgangsrapportages worden uitgebracht. 

8. De vorderingen regelmatig aan alle betrokken wordt gecommuniceerd. 

Oprichting van de stichting & taken: de stichting borduurt voort op de collectieve afspraken en dient 
daarom een initiatief van de sector te zijn. De stichting is niet van het Ministerie van OCW. De 
voorgestelde stichting moet worden opgericht en vormgegeven (statuten, bestuur, 
uitvoeringsorganisatie). De benoemde taken in hoofdstuk 5 van dit advies moeten bij de opgerichte 
stichting worden ondergebracht. Sommige taken van de stichting 'bestaan' al en moeten zolang de 
stichting er niet is op een andere manier worden uitgevoerd, zoals het beheer en ontsluiting van de 
Analyse en dataset samenhang 2.0. Sommige taken moeten simultaan met de oprichting van de 
stichting worden ingevuld, zoals het selecteren van validerende en certificerende autoriteiten. 

Collectieve afspraken/opstellen routekaart: de collectieve afspraken treden op korte termijn in 
werking. De voorgestelde norm Tl ligt bij de start onder deze afspraken. De informatie uit de Analyse 
samenhang 2.0 is beschikbaar en kan dus ingezet worden bij route 2, de route die volgt uit de 
collectieve afspraken. 
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Aandachtspunten: er is sprake van een aantal aandachtspunten en bijbehorende te ondernemen 
acties bij de vertaling van het advies naar de praktijk. Deze aandachtspunten zijn geadresseerd in 
hoofdstuk 7 van dit advies. Hoofdstuk 7 kan gezien worden als de eerste aanzet voor het plan van 
aanpak van de nog te benoemen kwartiermaker. 

6.3 Aan de slag met valide examenproducten in de overgangsperiode 

De inschatting is dat er tenminste een schooljaar nodig is om, met de stakeholders samen, te werken 
aan het vertalen van het advies naar de praktijk (de overgangsperiode). In de overgangsperiode kan 
echter wel gestart worden met het werken volgens de routes met de norm Tl als onderlegger. 

Het werken volgens de routes gaat gelden voor alle examenproducten die voortkomen uit de 
herziene kwalificatiedossiers. Onderwijsinstellingen en leveranciers die reeds gestart zijn met de 
herziene kwalificaties en/of al examenproducten voor de herziene kwalificaties ontwikkeld hebben 
kunnen op basis van dit advies nagaan of er sprake is van valide examenproducten. 


Dit geeft het volgende beeld in figuur 11.: 

augustus 2016 


datum X 



Figuur 11. Overgangsperiode in relatie tot de drie routes 


Openstellen route 1: omdat certificering nog ingevoerd moet worden kunnen instanties zich nog niet 
direct laten certificeren. De collectieve afspraken gaan echter wel uit van 'inkoop tenzij' en de 
Inspectie van het Onderwijs heeft in haar rapporten aangegeven dat inkoop van examenproducten 
over het algemeen een betere kwaliteit garandeert dan zelf ontwikkelde examenproducten. Ook zijn 
er al een aantal examenleveranciers met een keurmerk, die hiervoor beoordeeld zijn op 
examenproduct, proces en organisatieniveau. Daarom stellen we voor dat tijdens overgangsperiode 
geldt voor route 1: 


Inkoop bij (nog niet gecertificeerde) examenaanbieder, mits de instantie de intentie heeft om 
zich te laten certificeren binnen termijn x, leidt tot een valide examenproduct. 

Termijn x wordt bepaald door wanneer certificering beschikbaar is. Onderwijsinstellingen kunnen 
daarnaast ook werken volgens route 2 om te komen tot valide examenproducten. 
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Onderwijsinstellingen moeten zich realiseren dat indien het certificeringsproces bij de instantie 
mislukt de ingekochte producten alsnog extern gevalideerd (route 3) moeten worden. 

Openstellen route 2: door de collectieve afspraken en de beschikbare informatie uit de Analyse 
samenhang 2.0 is het mogelijk om zelf of samen ontwikkelde examenproducten al te construeren en 
vaststellen volgens de collectieve afspraken, hierbij de norm in acht te nemen en de stappen te 
volgen om te komen tot een valide examenproduct. 

Route 3: voor deze route is externe validering van het betreffende examenproduct noodzakelijk. 
Hiervoor zijn de uitwerking van de norm en daadwerkelijk kunnen toepassen van externe validering 
nodig. Route 3 kan pas opengezet worden als dit is geregeld Hierbij kan worden aangemerkt dat er 
een aantal initiatieven lopen die gericht zijn op kwaliteitsverhoging van examenproducten (zoals 
peer-to-peer reviews bij onderwijsinstellingen onderling). Deze initiatieven kunnen voortgezet 
worden en bijdragen aan de kwaliteit van examenproducten. Ze kunnen echter geen vervanging zijn 
voor de voorgestelde externe validering. 

6.4 Einde overgangsperiode, begin 'nieuwe realiteit' 

Een overgangsperiode kent per definitie een eindpunt. Dan treedt de volledige nieuwe realiteit in 
werking. Het einde van de overgangsperiode (T2) betekent dat: 

• de norm volledig is en in wet- en regelgeving of definitief in collectieve afspraken is 
vastgelegd 

• de stichting operationeel is 

• er tenminste drie validerende en certificerende autoriteiten beschikbaar zijn. 

Het einde van de overgangsperiode betekent de ingang van 'de nieuwe realiteit'. Elk ingezet 
examenproduct voor de herziene kwalificatiedossiers moet valide zijn volgens de systematiek van de 
3 routes en getoetst aan de onderliggende norm. 
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7. Aandachtspunten en acties 

In de voorgaande hoofdstukken is het advies om te komen tot valide examenproducten in het mbo 
uitgewerkt. Hierbij is een aantal aandachtspunten benoemd. Deze aandachtspunten leiden tot een 
aantal acties die uitgevoerd dienen te worden in de geadviseerde overgangsperiode. Dit is nodig om 
in deze periode al zoveel mogelijk aan de slag te kunnen met de routes en om te komen tot de 
structurele situatie. 

De voorgestelde kwartiermaker staat - samen met de betrokkenen uit de mbo-sector - aan de lat om 
de aandachtspunten en bijhorende acties op te pakken. 

Hieronder worden per hoofdstuk (kernpunten) in het advies de aandachtspunten en daaruit 
volgende acties geadresseerd. 

7.1 Aandachtspunten en acties per hoofdstuk advies 

Tabel 3. Aandachtspunten en acties per hoofdstuk advies 

1. Van advies naar praktijk 

1. Aandachtspunt 

1.1 Het realiseren van het advies vraagt om een persoon/organisatie de overgang van advies 
naar praktijk oppakt en begeleidt. 

2. Actie 

1.1 Aanstellen kwartiermaker om de hieronder benoemde acties en aandachtspunten in de 
overgangsperiode op te pakken in samenwerking met betrokken partijen uit het mbo-veld 
en het Ministerie van OCW. 

2. Collectieve afspraken & Samenhang 2.0 

2. Aandachtspunten 

2.1 Oog houden voor de definitieve uitwerking (stevigheid, handhaving, verwijzing naar de 
Analyse samenhang 2.0 en verwijzing naar norm) en startmoment van de collectieve 
afspraken. 

2.2 De collectieve afspraken zijn gemaakt door en worden onderschreven door de MBO 
Raad en de NRTO en daarmee door hun leden. Er is ook een aantal niet-bekostigde mbo- 
instellingen die niet zijn aangesloten bij deze belangenorganisaties. De collectieve afspraken 
en daarmee route 2 staan in eerste instantie niet voor hen open. Daarnaast is het denkbaar 
dat route 2 ook een route kan zijn voor examenleveranciers, maar ook daarvoor is 
ondertekening van de collectieve afspraken nodig. 


Drie routes naar een valide examenproduct - mei 2016 


51 










2.3 De beschikbaarheid en toegankelijkheid van servicedocumenten: De toepassing van 
samenhang op route 2 suggereert dat bepaalde servicedocumenten openbaar of beperkt 
beschikbaar zijn voor alle onderwijsinstellingen en instellingen. Welke consequenties heeft 
deze manier van het benaderen van beschikbaarheid van servicedocumenten? Is volledige 
toegankelijkheid voor iedereen te realiseren? En wat als om juridische redenen een 
servicedocument beperkt beschikbaar blijft? 

2.4 Tijdelijke borging Analyse samenhang 2.0: het ontsluiten, actualiseren en beheren van 
een actuele Analyse en dataset samenhang 2.0 is noodzakelijk in het kader van de 
collectieve afspraken en het daarmee kunnen openstellen van route 2. 

2.5 Communicatie: onderwijsinstellingen en instanties moeten geïnformeerd worden over 
de collectieve afspraken en de relatie met het advies om hierop te kunnen inspelen in hun 
werkzaamheden. 

2. Acties 

2.1 Onderhouden contact en uitwisselen informatie met de partijen die betrokken zijn bij de 
collectieve afspraken; 

2.1 Vinger aan de pols houden bij de vormgeving van de handhaving van de collectieve 
afspraken ter versteviging van route 2. De MBO Raad moet de handhaving van de 
collectieve afspraken voor haar leden vormgegeven. Dit geldt ook voor de NRTO. De 
NRTO ontwikkelt al een aanpak waarbij de commissie kwaliteitshandhaving van de NRTO 
een rol heeft in de handhaving en het nakomen van de collectieve afspraken een plek kan 
krijgen in de kwaliteitsverklaring die leden in het kader van het NRTO-keurmerk jaarlijks 
moeten inleveren. De aanpak moet nader worden uitgewerkt en vastgesteld door de 
NRTO en landen in de collectieve afspraken. 

2.2 Onderzoeken en besluiten welk uitgangspunt geldt voor niet-bekostigde instellingen die 
niet zijn aangesloten bij de NRTO en examenleveranciers. Hiervoor moet ook naar de 
mogelijkheden rondom handhaving gekeken worden, in aansluiting op aandachtspunt en 
actie 2.1. 

2.3 Onderzoeken en besluiten hoe er met de toegankelijkheid van servicedocumenten 
wordt omgegaan en dit doorvertalen naar de Analyse samenhang. Hierbij dient ook gekeken 
te worden naar uitvoerbaarheid. 

2.4 Tijdelijk onderbrengen Analyse en dataset samenhang 2.0 & ontsluiting van en 
actualisatie van de data en analyses uit samenhang 2.0 regelen voor de overgangsperiode. 
De actualisatie van de data uit de Analyse samenhang 2.0 vereist inspanningen om 
bijvoorbeeld voor meer kwalificaties bruikbare servicedocumenten te ontwikkelen of 
openbaar beschikbaar te maken. 
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2.5 Communicatie richting onderwijsinstellingen en examenleveranciers over de collectieve 
afspraken en de uitvoering daarvan in relatie met de toepassing van de norm en systematiek 
van de routes uit dit advies. 

3. De norm 

3. Aandachtspunten 

3.1 De norm Tl is nog geen definitieve norm en behoeft verfijning en uitwerking. 

3.2 De verankering van de norm in relatie met de al vastgelegde Regeling standaarden 
examenkwaliteit 2012/het toezicht van de Inspectie van het Onderwijs en in relatie met een 
besluit over hoe niet-bekostigde instellingen die niet bij de NRTO zijn aangesloten aan te 
haken. 

3.3 Aanpassing/actualisatie van de norm bij veranderingen die invloed hebben op de norm 
(bijvoorbeeld aanpassingen in de Regeling standaarden examenkwaliteit) 

3. Acties 

3.1 Uitwerken van norm Tl in een definitieve norm 

3.2 Onderzoeken en besluiten hoe de definitieve norm verankerd kan worden in wet- en 
regelgeving of collectieve afspraken met daarbij oog voor de benoemde aandachtspunten. 

3.2 De procedure die hoort bij de verankering volgen en norm vastleggen. 

3.3 Zorgen voor eventuele actualisatie 

4. Werken volgens drie routes 

4. Aandachtspunten 

4.1 Voor route 2B is alleen het navolgen van de collectieve afspraken niet voldoende om tot 
een valide product te komen. De onderwijsinstelling moet een aanvullende actie doen. Dit 
kan invloed hebben op de Analyse samenhang 2.0. Het definiëren en concreet maken van de 
aanvullende acties is nog een aandachtspunt. Hierbij wordt onder andere gedacht aan het 
ontwikkelen van servicedocumenten (of het document openbaar beschikbaar maken als dat 
nog niet het geval is). 

4.2. Er zijn ook kwalificaties waarbij de ontwikkeling van het servicedocument niet door telt 
in de beslisregels, de kwalificatie blijft in de B rating. Voor deze kwalificaties moet bedacht 
worden of en hoe er tot een valide product gekomen kan worden zonder dat het nodig is om 
over te gaan tot extern valideren. Gedacht kan worden in het zoeken van kwaliteit in het 
samenwerken in een 'klein collectief'. 
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4.3 Toegankelijkheid examenproducten: Als een onderwijsinstelling of een 
samenwerkingsverband van een groep onderwijsinstellingen een gecertificeerde instantie 
wordt, wat betekent dit dan voor hun examenproducten. Moet een onderwijsinstelling die 
zich laat certificeren bijvoorbeeld ook zorgen dat haar producten voor derden beschikbaar 
zijn? 

4.4 Bij certificering stelt het advies voor om gebruik te maken van een steekproef voor de 
toets op de producten van een te certificering instantie. Er is voorgesteld om te starten met 
een steekproef van 20% van de examenproducten van de betreffende instantie en daarbij 
een ondergrens van 10 examenproducten te hanteren. Er is nader onderzoek en monitoring 
van de praktijk nodig om te komen tot een definitieve steekproef. 

4.5 In het kader van het openstellen van route 2 zijn de spelregels voor en handhaving van 
de collectieve afspraken van belang. Zie hiervoor het aandachtspunt 2.1 onder 2. Collectieve 
afspraken. 

4.6 Vormgeving van een valideringsplan en koppeling met bestaande documentatie. 

4.7 Onderwijsinstellingen en instanties moeten kunnen werken met de systematiek en 
daarover geïnformeerd worden. 

4.8. Het gebruik van de routes bij de instellingsexamens Nederlands en Engels. 

4. Acties 

4.1 Voor de kwalificaties met een B rating moet worden uitgewerkt welke stappen er te 
ondernemen zijn om te komen tot een valide examenproduct. Voor nu wordt gedacht aan 
acties gericht op het ontwikkelen van servicedocumenten die houvast bieden bij de 
doorvertaling van de kwalificatie naar het examenproduct. 

4.2 Onderzoeken of en hoe 'het klein collectief' bij kwalificaties meteen B rating kan 
bijdragen aan de totstandkoming van een valide product zonder dat er externe validering 
aan te pas komt. 

4.3 Onderzoeken en besluiten hoe er met de toegankelijkheid van examenproducten van 
een gecertificeerde instantie wordt omgegaan. 

4.4 Bepalen van definitieve grootte van steekproef (met onderzoek en monitoring als 
onderbouwing). 

4.5 Zie actie 2.1 onder 2. Collectieve afspraken. 

4.6 Het uitwerken van een format voor een valideringsplan (mogelijk onderdeel van 
examenplan). 
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4.7 Communicatie richting de onderwijsinstellingen en examenleveranciers over de werking 
van de systematiek van de routes. 

4.8. Het gebruik van routes bij de instellingsexamens Nederlands en Engels moet worden 
bekeken of met de in het advies beschreven systematiek van de routes keuzes kunnen 
worden gemaakt of dat er aanvullende afspraken nodig zijn. 

5. Organisatie & uitvoering 

5. Aandachtspunten 

5.1 Bij keuze voor stichting: Het initiatief van de stichting moet worden genomen door de 
mbo-sector. 

5.2 Bij keuze voor stichting: oog voor onafhankelijkheid en goede afspiegeling van 
stakeholders in het bestuur 

5.3 Bij keuze voor stichting: oog voor het zo lean en mean mogelijk inrichten van de stichting 
met een zo laag mogelijke uitvoeringslast. 

5.4 Bij keuze voor de Raad voor Accreditatie: deze organisatie kan geen rol spelen bij het 
beheren en actualiseren van de analyse en dataset die voortkomt uit samenhang 2.0. Dus er 
moet dan gezocht worden naar een andere plek om de Analyse en dataset samenhang 2.0 te 
borgen. 

5.5 Tijdspad bij keuze voor de Raad voor Accreditatie: Eerst moet de norm definitief zijn, 
daarna kan deze pas ingebracht worden. 

5.6 Keurmerk Examenleveranciers: overgang naar certificering conform voorliggend advies 

5.7 Verfijning set van eisen waaraan validerende/certificerende autoriteiten moeten 
voldoen 

5.8 Wijzigingen in examenproducten: Wanneer wordt een examenproduct echt gewijzigd en 
hoort het product opnieuw een route te doorlopen en wanneer niet? 

5.9 Hoe de norm vertaald wordt in eenduidig beoordelingsmateriaal voor validerende en 
certificerende instanties 

5.10 Het zorgen voor voldoende en vakkundige capaciteit voor het valideren en certificeren 
bij de validerende en certificerende instanties, zeker in de startperiode. 

5. Acties 

5.1 Initiatief oppakken/aanjagen initiatief om stichting op te richten. 

5.2 Juridische identiteit bepalen en stichting of andere rechtsvorm statutair oprichten. 


Drie routes naar een valide examenproduct - mei 2016 


55 








5.3 Invulling governance/besturing en operationaliseren taken en bevoegdheden stichting. 

5.3 Opzetten systeem voor monitoring en handhaving. 

5.3 Opzetten en ontsluiten register voor validerende/certificerende autoriteiten. 

5.3/ 5.4 Opzetten definitief systeem Analyse en dataset samenhang 2.0. 

5.5. Bij Raad voor Accreditatie: norm definitief maken, via schemabeheerder norm 
inbrengen, zorgen dat autoriteiten zich kunnen laten accrediteren. 

5.6 Vinger aan de pols houden qua ontwikkelingen rondom het Keurmerk 
Examenleveranciers en mogelijke aanpak en voorwaarden formuleren voor "omzetten" 
keurmerk naar certificering 

5.7 Vastleggen van de definitieve set van eisen waaraan validerende/certificerende 
autoriteiten moeten voldoen. 

5.8 Nader uitwerken wanneer een examenproduct als gewijzigd wordt beschouwd. 

5.9 Uitwerken van een instructie/handvatten voor certificerende en validerende autoriteiten 
om te kunnen toetsen aan de norm en uitwerking invulling beoordeling en toetsingsrapport. 

5.10 Selecteren van (voldoende) validerende/certificerende autoriteiten met oog voor 
capaciteit. 

6. Overgangsperiode 

6. Aandachtspunten 

6.1 Het openzetten van route 1 en 2 in aangepaste vorm vraagt om communicatie en uitleg 
over de routes, de collectieve afspraken en de toepasbaarheid van de norm Tl. 

6.2 Onderwijsinstellingen en instanties moeten zich kunnen voorbereiden op de structurele 
situatie, hier is uitleg en communicatie voor nodig. 

6.3 Monitoren of de wijze van openzetten van route 1 en route 2 in de overgangsperiode en 
het werken volgens de collectieve afspraken werkt zoals beoogd en of er aanpassingen nodig 
zijn. 

6.4 Onderwijsinstellingen en leveranciers die reeds gestart zijn met de herziene kwalificaties 
en/of al examenproducten voor de herziene kwalificaties ontwikkeld hebben kunnen op 
basis van dit advies nagaan of er sprake is van valide examenproducten. 

6.5 Keuzedelen: Het advies is gebaseerd op de producten voor de kwalificaties. De 
(consequenties van de) doorvertaling naar keuzedelen moet nader worden onderzocht. Het 
regime voor valide examenproducten kan pas op een nader vast te stellen moment ook van 
toepassing worden verklaard op de keuzedelen. 
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6. Acties 


6.1 en 6.2 Het opzetten van een tijdelijk aanspreekpunt voor onderwijsinstellingen en 
instanties voor uitleg, communicatie, vragen, uitvoeringsvraagstukken en dergelijke. 

6.3 Monitoring opzetten en uitvoeren over het openzetten van route 1 en 2. 

6.4 Nagaan of er sprake is van valide examenproducten op basis van dit advies bij het reeds 
gestart zijn met de herziene kwalificaties/hier al examenproducten voor hebben. 

6.5. Uitwerking van (de consequenties van) de doorvertaling van deze systematiek van drie 
routes die leiden tot valide examenproducten en moment van doorvoering van regime op 
keuzedelen. 
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